DATA ENGINEER
Le/la data engineer est un développeur informatique qui a pour mission de mettre en place la collecte et la mise à disposition des données au sein de l’entreprise. Il/elle est également en charge d’industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bord, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent.
Autres Intitulés
Ingénieur data/big data
Développeur data
Machine learning engineer
Ingénieur en développement big data
Les missions
Acheminement de la donnée
Recueillir les besoins métiers des différentes unités demandeuses et utilisatrices de solutions de collecte et stockage de la donnée.
Développer les solutions techniques de collecte de la donnée via des API.
Développer des solutions techniques de stockage de la donnée (Hadoop).
Réaliser les tests unitaires et d’intégration.
Mettre en place et maintenir les batchs, c’est-à-dire les automatisations d’une série de traitements.
Mise à disposition des données aux équipes utilisatrices
Industrialiser et automatiser le nettoyage de la donnée selon les spécifications retenues.
Gérer, maintenir et documenter de multiples bases de données (via l’importation de données externes en open data ou de données internes par exemple).
Gérer le cycle de vie de la donnée conformément aux directives inscrites dans le RGPD.
Assurer le suivi de production et la mainten
Mise en production de modèles statistiques dans les applications
Développer l’industrialisation de modèles statistiques ou de machine learning.
Implémentation du suivi de la validité du modèle statistique.
Assurer le suivi de production et la maintenance.
Suivi des projets de développement
|
Fun fact
Les compétences
Les compétences techniques
• Connaissance de la réglementation concernant les données personnelles et des principes de cybersécurité
• Connaissance des solutions de manipulation des données ETL/LET
• Maîtrise d’un outil de gestion de flux (Kafka, Flink…)
• Maîtrise de l’environnement Hadoop/Hive/Spark (que ce soit en local ou dans le cloud)
• Maîtrise de langages de programmation (C++, Scala, Java, Python…)
• Maîtrise des bases de données et gestion de bases de données (SQL/NoSQL)
• Maîtrise des méthodes de développement agile
• Maîtrise des systèmes d’exploitation (Unix, Windows…)
• Connaissance des solutions de manipulation des données ETL/LET
• Maîtrise d’un outil de gestion de flux (Kafka, Flink…)
• Maîtrise de l’environnement Hadoop/Hive/Spark (que ce soit en local ou dans le cloud)
• Maîtrise de langages de programmation (C++, Scala, Java, Python…)
• Maîtrise des bases de données et gestion de bases de données (SQL/NoSQL)
• Maîtrise des méthodes de développement agile
• Maîtrise des systèmes d’exploitation (Unix, Windows…)
