Data Engineer Spark / Scala - Datalake (H/F)

En tant que Data Engineer Spark / Scala, vos principales responsabilités seront :

Participer à l?estimation de la complexité technique, notamment dans le cadre de la montée de version Spark 3.4

Concevoir et développer des traitements data (CDC, fichiers plats, événements Kafka)

Implémenter des pipelines de transformation, agrégation et consolidation de données

Rédiger les documents de conception et la documentation technique

Concevoir et exécuter les tests unitaires et d?intégration

Réaliser des revues de code croisées

Contribuer à l?installation et au déploiement des composants

Assurer le support et la résolution des incidents de production

Participer activement aux rétrospectives et à l?amélioration continue

Environnement Technique

Backend / Big Data

Do you have experience in Spark?, Apache Spark (Scala)

HDFS, Hive

Kafka

Mesos, YARN

Oozie

Bases de données

MongoDB

Oracle

CI/CD & Qualité

GitLab CI

Maven

Sonar

Liquibase

Outils

GitLab

IntelliJ / VS Code

Jira / Confluence

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L?IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé.