Data engineer spark

Vous rejoindrez une équipe de data engineering au sein d'un acteur majeur du secteur bancaire français. Cette mission vous permettra de concevoir et d'optimiser des pipelines de données critiques sur une infrastructure moderne, en pilotant des traitements sophistiqués en Spark et en gérant des flux de données à forte volumétrie.

Intégrant une équipe agile de data engineers, vous participerez au développement, à l'optimisation et à l'industrialisation de solutions data au coeur du système d'information. L'environnement technique repose sur une stack Big Data complète (Spark, Kafka, HDFS, Cassandra) , complétée par des outils cloud modernes. Vous travaillerez en cycles itératifs, en étroite collaboration avec les métiers et les équipes transversales, dans un cadre de bonnes pratiques d'ingénierie (versioning, CI/CD, monitoring) .

Le projet couvre plusieurs domaines : traitements batch complexes, flux streaming en temps réel et intégrations API, avec des enjeux de performance, de scalabilité et de fiabilité en production. Vous serez amené (e) à intervenir sur l'ensemble du cycle de vie des données, de la conception à l'exploitation, en tenant un rôle de support tournant pour assurer la continuité de service.

Responsabilités :

• Développer, maintenir et optimiser des pipelines de données Spark (Scala) sur des architectures batch, streaming et API
• Concevoir et industrialiser des traitements complexes en garantissant performance, scalabilité et qualité de code
• Assurer l'intégration et la gestion de flux de données via Kafka et HDFS
• Exploiter, administrer et optimiser des bases de données NoSQL (Cassandra)
• Participer à la gestion du run en tant que support de production : monitoring, incident resolution, amélioration continue
• Escalader les anomalies critiques auprès des experts métier et des stakeholders
• Participer aux ateliers métier pour traduire les besoins en solutions techniques adaptées
• Documenter et vulgariser les travaux réalisés pour faciliter l'appropriation par l'équipe et les parties prenantes
• Mettre en oeuvre les bonnes pratiques de versioning (git) et d'intégration continue

Indispensables :

• Maîtrise confirmée et pratique avancée du développement Spark en Scala (minimum 3 ans d'expérience sur un poste similaire)
• Solide connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra, avec expérience sur des architectures batch et streaming
• Pratique courante du versioning (git) et des outils d'intégration continue (CI/CD)
• Formation Bac+5 en informatique, data engineering ou équivalent
• Excellente capacité de communication, de vulgarisation et d'appropriation des besoins métier
• Autonomie, rigueur, sens de l'organisation et esprit d'équipe marqués

• Expérience avérée en environnement Databricks et/ou Azure
• Expertise sur Airflow ou orchestration de workflows data
• Maîtrise des environnements cloud (Azure en priorité)
• Pratique de la CI/CD avancée et des outils de monitoring en production
• Connaissances en développement Node.js
• Capacité d'analyse fine des problèmes de performance et de scalabilité