Data engineering
En quoi MAO Conseil peut vous aider en matière d’ingénierie des données
Datalake
Data Warehouse et Datamart
Data modeling
Data storage
Data Ingestion
Data processing
Data publication
Pipeline d'analyse
Data gouvernance
Datalake
La digitalisation de l’économie produit des flux de données toujours plus importants, plus rapides et variés, les fameux Big Data.
Les entreprises les plus performantes, traitent et analysent ces flux, en temps réel, afin de pouvoir réagir au moindre signal perçu comme une menace ou une opportunité de business.
La mise en œuvre d’un Datalake est la première étape de la modernisation d’une plateforme de données traditionnelle, en vue d’étendre sa capacité à traiter ces Big Data.
Le Datalake et le Data Wharehouse ne s’opposent pas, ils se complètent. Le Datalake sert de sas d’alimentation et de préparation des données pour le Data Wharehouse, de plus il se comporte comme une archive active de l’historique des données.
Le Data Wharehouse doit se moderniser pour faire face aux besoins de la Business intelligence en self-service. Cette évolution de La BI implique la multiplication et la diversification des fonctions et des profils métiers à même de créer, modifier ou étendre leur reporting ou leurs tableaux de bord métier.
Datawarehouse
Data modeling
La modélisation des données fait grand bruit au niveau des plateforme de données, pendant longtemps la modélisation des données à répondu à une logique de type Schema on write et de schéma en étoile. Dans le cadre du Big Data on parle souvent de Schéma on read. Les données sont acquises et stockées en mode brut, le schéma des données brutes est découvert par différentes méthodes relevant par exemple du machine learning et l’intelligence artificielle.
Les données raffinées répondent à des schémas de données qui sont référencés et catalogués.
Le schéma des données dans le cadre du schema on read est souvent constitué dynamiquement au moment de la lecture des données d’où le nom de schema on read.
Quelques-soit le type de schéma mis en œuvre, il existe un besoin de modélisation des données, de gestion des métadonnées et de catalogage de données dans le cadre de tout datalake ou data wharehouse.
Les besoins en matière de stockage et d’accès aux données évoluent avec le Big Data.
Il est nécessaire de disposer de systèmes de stockage banalisés de très grande capacité pour les données brutes, rôle souvent dévolu au système de fichier Hadoop ou à un stockage objet cloud capable de stocker des milliards d’objets.
Les données peuvent être stockées dans différents formats directement dans le système de fichier Hadoop ou dans des bases données en mode tables ou colonnes.
Les méthodes d’accès aux données sont de plus en plus de type «SQL Every Where ou recherche à la Google.
Data storage
Data Ingestion
Les sources de données utilisées pour alimenter les datalake et les data wharehouse se multiplient. Ces sources peuvent produire des données structurées, non structurées ou semi structurée, de plus ces sources peuvent générer des données en plus ou moins grand volume.
La récupération de ces données doit pouvoir se faire soit en temps réel, souvent le cas avec les capteurs, le e-commerce ou la propagation d’événements métiers, ou à des intervalles de temps pour les données traitées en temps différés.
Les plateformes de données modernes doivent disposer d’outils de type ETL, ou d’outils d’acquisition temps réel de Flux de données capable d’être déployés dans des fermes de traitement permettant de travailler de manière massivement parallèle.
La mise en place de plateforme de traitement de données aux caractéristiques de plus en plus impressionnantes, à des coûts importants et nécessitant des compétences encore rares sur le marché, ne se justifie que si l’on peut en tirer des clés qui permettent de libérer en proportion de la valeur business.
Pour cela il faut pouvoir analyser ces données, pour en tirer des informations qui permettent de fiabiliser les prévisions d’activité, d’acquérir de nouveaux clients, fidéliser les clients existants, optimiser les tarifs, gérer les inventaires au plus juste,….
Pour pouvoir analyser des données, en tirer des informations pertinentes, il faut préparer ces données, ce qui implique de les nettoyer, de les approcher, de les enrichir, de les ….
Pour cela il faut disposer d’outils capables de parcourir et de transformer les données, il s’agit d’outils de type Data Cleaning, Data munging, Data wrangling. De plus ces outils doivent pouvoir être utiliser par les analystes métiers ou les data scientists en mode self-service.
Data processing
Data publication
Les données accumulées dans le Datalake doivent être mises à la disposition des utilisateurs métier, dans un environnement où il leur est facile de les intégrer dans des tableaux de bord, de les analyser, de les utiliser via des Data Services ou dans le cadre de Data products.
Les données raffinées à l’issue de traitements préparatoires appliquées aux données brutes, sont publiées soit directement sous la forme de fichiers stockés dans le système de fichier Hadoop sous différents formats, via leur chargement dans des bases SQL ou non SQL ou via des systèmes d’indexation texte.
Quelque-soit la méthode de stockage, la tendance est que ces données soient accessibles via un requêteur SQL ou via une interrogation en langage naturel.
L’ingénierie des données vise à mettre à la disposition des data analystes et des data Scientists des données prêtent à l’analyse.
Les Data scientists sont responsables de découvrir les modèles d’analyse et de décisions qui sont les plus aptes à permettre d’effectuer des prédictions et des prescriptions basés sur des modèle statistiques, mathématiques, ….
Le data engineer est cependant en charge de déployer les modèles en production et de les industraliser.
Pipeline d'analyse
Data Gouvernance
Le lac de données peut rapidement devenir un marécage, si l’on ne prend pas la précaution de mettre en œuvre une bonne gouvernance des données.
Le catalogage automatique est une fonction essentielle d’un Datalake. Le catalogue permet aux utilisateurs métiers, aux analystes et aux data scientists de découvrir les données disponibles.
L’accès aux données doit être sécurisé afin d’éviter les fuites de données ou les accès inopportuns.
Les données doivent être anonymisées
La qualité des données de référence doit être maintenue et la qualité des « données raffinées » doit être évalués en permanence.