LâingĂ©nieur data est un dĂ©veloppeur informatique qui a pour mission de mettre en place la collecte et la mise Ă disposition des donnĂ©es au sein de lâentreprise. Il est Ă©galement en charge dâindustrialiser et mettre en production des traitements sur les donnĂ©es (par exemple : mise Ă disposition de tableaux de bord, intĂ©gration de modĂšles statistiques) en lien avec les Ă©quipes mĂ©tiers et les Ă©quipes qui les analysent.
Acheminement de la donnée :
Recueillir les besoins métiers des différentes unités demandeuses et utilisatrices de solutions de collecte et stockage de la donnée.
Développer les solutions techniques de collecte de la donnée via des API.
Développer des solutions techniques de stockage de la donnée (Hadoop).
RĂ©aliser les tests unitaires et dâintĂ©gration.
Mettre en place et maintenir les batchs, câest-Ă -dire les automatisations dâune sĂ©rie de traitements.
Mise à disposition des données aux équipes utilisatrices :
Industrialiser et automatiser le nettoyage de la donnée selon les spécifications retenues.
GĂ©rer, maintenir et documenter de multiples bases de donnĂ©es (via lâimportation de donnĂ©es externes en open data ou de donnĂ©es internes par exemple).
Gérer le cycle de vie de la donnée conformément aux directives inscrites dans le RGPD.
Assurer le suivi de production et la maintenance.
Mise en production de modĂšles statistiques dans les applications :
DĂ©velopper lâindustrialisation de modĂšles statistiques ou de machine learning.
Implémentation du suivi de la validité du modÚle statistique.
Assurer le suivi de production et la maintenance.
Suivi des projets de développement :
Ătablir les spĂ©cifications techniques Ă partir de lâanalyse des besoins.
Reporter lâactivitĂ© auprĂšs du chef de projet.
Activités éventuelles :
Automatiser la création de tableaux de bord aux équipes métiers (envoi de fichiers via des applications dédiées).
Assurer une veille technologique sur les outils big data.
Ăcrire la documentation relative aux bases de donnĂ©es (rĂšgles de gestion, dictionnaire des variablesâŠ).
eurofins