Data engineer-azure

Vous travaillerez principalement sur Databricks, PySpark et Azure Data Factory, avec une dimension complémentaire autour de l'automatisation, du CI/CD et de l'infrastructure cloud.

Vos missions

• Concevoir, développer et enchaîner des notebooks Databricks en PySpark ;
• Alimenter et maintenir les différentes couches Bronze, Silver et Gold ;
• Manipuler et optimiser les formats Parquet, Delta et CSV ;
• Améliorer les performances, la qualité et les coûts des traitements existants ;
• Superviser les flux et pipelines Azure Data Factory, mettre en place des alertes et contribuer à la reprise sur incident ;
• Fiabiliser et industrialiser les traitements Data dans un environnement de production ;
• Faire évoluer les configurations et infrastructures via Terraform ;
• Maintenir et exécuter les pipelines Jenkins liés aux déploiements et traitements Data ;
• Contribuer aux repositories Git : gestion des branches, revues de code, workflows et bonnes pratiques CI/CD ;
• Accompagner les équipes métiers et techniques dans la compréhension des besoins et la priorisation des évolutions ;
• Participer à des études d'opportunité, sujets de conseil et dossiers d'innovation.

Profil recherché Vous disposez d'une expérience confirmée à senior en Data Engineering et maîtrisez notamment : Databricks / PySpark ;

SQL ;

Azure Data Factory ;les architectures Bronze / Silver / Gold ;les formats Delta, Parquet et CSV ;

Azure ;

Git et les pratiques CI/CD ;

Terraform et Jenkins.

Vous êtes autonome, rigoureux (se) , proactif (ve) et à l'aise dans des environnements nécessitant organisation, priorisation et documentation.

Un anglais professionnel est requis.