Data Engineer H/F

Le Data Ingénieur dédié au programme aura pour mission principale de fiabiliser la chaîne de données et de construire, maintenir et optimiser les pipelines d'ingestion, principalement à partir des données issues de Copilot, dans l'environnement GCP. Il devra assurer la qualité, la fiabilité et la traçabilité des flux de données, ainsi que leur transformation et nettoyage, en étroite collaboration avec l'équipe projet.

Le projet :

• Analyse de l'existant et définition de la stratégie de données pour l'asset IA générative
• Conception de l'architecture de données cible, en intégrant les besoins de l'IA générative et les contraintes existantes
• Interaction avec les équipes concernées pour recenser les besoins et attendus en données
• Modélisation de données complexes et conception de schémas adaptés aux besoins métier
• Construction et optimisation de pipelines d'ingestion sur GCP (BigQuery, Dataflow, Pub/Sub, Cloud Storage, Composer)
• Développement et automatisation de DAGs pour l'orchestration des flux de données
• Transformation, nettoyage et enrichissement des données en collaboration avec les équipes projet
• Mise en place de méthodes de chargement adaptées aux volumétries et exigences de performance
• Rédaction de la documentation technique des processus d'ingestion et des pipelines (CLA, DEX, etc.)
• Support technique et accompagnement des équipes projet pour l'utilisation et la maintenance des pipelines
• Participation aux réunions Agile et adaptation continue des solutions en fonction de l'avancement du projet, Les livrables attendus sont les suivants :
• Un CLA (Contrat de Liaison Applicative) pour chaque nouveau flux de données mis en place
• Un DEX (document de traitement Data Lake) pour la documentation détaillée des traitements réalisés
• Les documents de conception et d'architecture des solutions déployées
• Les scripts et DAGs automatisés pour Composer/Airflow, accompagnés de leur documentation d'utilisation
• Les plans de tests et scénarios de validation technique associés à chaque pipeline ou traitement
• Les rapports d'avancement périodiques et la documentation des incidents et résolutions apportées

Le candidat doit démontrer une expertise avérée sur les technologies DATA, en particulier dans le contexte Renault, incluant :

• Maîtrise avancée de la plateforme GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub, Cloud Composer, Airflow)
• Expérience confirmée en développement Python et Java (la connaissance de Scala est un atout supplémentaire)
• Bonne maîtrise de GIT pour la gestion du versioning
• Pratique régulière de la documentation technique et du support utilisateur
• La connaissance de la plateforme Azure, en complément de GCP, est appréciée pour exploiter les outils d'intelligence artificielle intégrés, notamment Microsoft Copilot, Le candidat doit posséder une maîtrise opérationnelle des applications GCP (Dataproc, BigQuery, Dataflow, Composer, Data Storage), de la gestion des flux de données entre systèmes sources et cibles, des techniques de modélisation, des pratiques de codage et d'optimisation, ainsi que de la conduite de tests techniques (plans de tests et scénarios de validation). La maîtrise des outils JIRA et Confluence est également requise. L'autonomie et la curiosité sont des qualités attendues pour la réussite de la mission.

DIGIT est une Entreprise de Services du Numérique (ESN) avec plus de 20 ans d'expérience. Basée en Normandie, DIGIT accompagne les entreprises dans leurs projets informatiques en offrant des solutions de développement logiciel et de Business Intelligence.