Activités
Acheminement de la donnée
- Recueillir les besoins métiers des différentes unités demandeuses et utilisatrices de solutions de collecte et stockage de la donnée.
- Développer les solutions techniques de collecte de la donnée via des API.
- Développer des solutions techniques de stockage de la donnée (Hadoop).
- Réaliser les tests unitaires et d’intégration.
- Mettre en place et maintenir les batchs, c’est-à-dire les automatisations d’une série de traitements.
Mise à disposition des données aux équipes utilisatrices
- Industrialiser et automatiser le nettoyage de la donnée selon les spécifications retenues.
- Gérer, maintenir et documenter de multiples bases de données (via l’importation de données externes en open data ou de données internes par exemple).
- Gérer le cycle de vie de la donnée conformément aux directives inscrites dans le RGPD.
- Assurer le suivi de production et la maintenance.
Mise en production de modèles statistiques dans les applications
- Développer l’industrialisation de modèles statistiques ou de machine learning.
- Implémentation du suivi de la validité du modèle statistique.
- Assurer le suivi de production et la maintenance.
Suivi des projets de développement
- Établir les spécifications techniques à partir de l’analyse des besoins.
- Reporter l’activité auprès du chef de projet.
ACTIVITÉS ÉVENTUELLES
- Automatiser la création de tableaux de bord aux équipes métiers (envoi de fichiers via des applications dédiées).
- Assurer une veille technologique sur les outils big data.
- Écrire la documentation relative aux bases de données (règles de gestion, dictionnaire des variables…).
VARIABILITÉ DES ACTIVITÉS
Les data engineers ont la possibilité de se spécialiser techniquement, même si cela ne représente pas la majorité des cas. Les champs de spécialisation touchent à l’intelligence artificielle (auquel cas les data engineers qui s’occupent d’industrialiser de tels modèles sont appelé(e)s machine learning engineers) ou bien dans les techniques de stream (temps réel). Pour ce qui concerne l’industrialisation de modèles de machine learning, ils/elles doivent notamment avoir des connaissances en statistiques et mathématiques.
Aussi, du fait de leurs compétences dans le champ de la manipulation des données mais aussi parfois des statistiques, les data engineers peuvent avoir à intervenir sur la partie traitement de données lorsque l’entreprise qui les recrute ne dispose pas de compétences en data science. De la même façon, ils/elles peuvent aussi avoir à cartographier et à documenter les données disponibles lorsque ce travail n’est pas pris en charge par une équipe de maîtrise d’ouvrage. C’est d’ailleurs très souvent le cas pour les entreprises de petite taille et/ou pour des entreprises moins matures dans la mise en place d’une organisation data centric.
Les entreprises n’embauchent pas toujours de data engineers en interne. Un certain nombre d’entre eux/elles sont recruté(e)s via des sociétés de services et ils/elles doivent, de fait, pouvoir s’adapter rapidement aux contextes de travail dans lesquels ils/elles interviennent pour remplir leurs missions. Dans ce cas-là, ils/elles peuvent aussi être en relation directe avec des commerciaux afin de calibrer en termes de coûts et délais de livraison, leurs interventions.
RATTACHEMENT HIÉRARCHIQUE
- Chef de projet data
- Responsable d’équipe data
- Chef de projet informatique
- Architecte big data
CONTEXTE ET FACTEURS D’ÉVOLUTION DU MÉTIER
Aujourd’hui, avec l’afflux massif de données, les entreprises se voient offrir des opportunités nouvelles, et ce, quel que soit leur secteur d’activité. Les données sont ainsi incontournables pour piloter la satisfaction client, les services après-vente, la gestion des fraudes. L’implémentation de plus en plus régulière de capteurs dans les outils de production permet également de prédire des pannes ou d’automatiser les processus industriels. Certaines entreprises s’orientent vers des organisations dites data centric, avec la constitution d’équipe et/ou mobilisation de compétences techniques dédiées et valorisent la dissémination de la culture des données.
Les data engineers sont confronté(e)s à de nombreuses évolutions technologiques, ce qui leur demande de constamment s’adapter, se former et d’être capables de travailler avec ces nouveaux outils.
