Lead data orchestration engineer apache airflow

Vous piloterez une mission stratégique combinant expertise technique, architecture cloud et mentorat d'équipes dans un environnement à fort enjeu de continuité de service.

Contexte de la mission

Vous intégrez une équipe Data Platform au sein d'un groupe majeur du secteur automobile. La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données transactionnelles complexes à travers 9 pays européens. Suite à un audit technique approfondi ayant stabilisé les fondations, la mission porte désormais sur quatre axes stratégiques : optimisation architecturale et passage à l'échelle, sécurisation et résilience de bout en bout, évaluation et migration vers une infrastructure cible mieux adaptée, et montée en compétence progressive des équipes Dev et Ops.

Environnement technique

Plateforme actuelle : AWS MWAA avec SQS/SNS, Secrets Manager, CloudWatch et IAM ; plus de 200 DAGs en production avec DAG Factory dynamique existante. Méthodologie : approche Agile avec cycles d'optimisation, benchmarking technique et gestion de programme structurée. Périmètre : infrastructure multi-pays, multi-environnements (Dev/Ops séparés) , avec enjeux forts de performance, coûts et conformité.

Responsabilités :

• Optimiser et faire évoluer l'architecture d'orchestration existante : enrichissement de la DAG Factory, migration vers les Datasets natifs Airflow, optimisation des performances au parse-time et runtime, mise en place de validation automatisée en CI/CD (parse test, linting, tests d'intégration)
• Concevoir et implémenter une stratégie de sécurisation robuste : politique de rotation des secrets, routage d'alertes différencié par type et criticité, hardening réseau et configuration, patterns avancés de résilience (retry strategies, Dead Letter Queues, circuit breakers)

) en regard des contraintes métier, puis élaborer une recommandation argumentée avec analyse coûts/bénéfices et plan de transition

• Prendre en charge la migration vers l'infrastructure cible retenue, en garantissant continuité de service, POC validant et bascule progressive en production
• Conduire le programme de formation et de montée en compétence des équipes (~10 personnes Dev et Ops) , favoriser la constitution d'une méta-équipe plateforme unifiée, et accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps)
• Concevoir et faire appliquer des standards techniques transverses : patterns de conception, conventions de code, processus de review et bonnes pratiques d'observabilité

Profil recherché

Indispensables :

• Minimum 5 ans d'expérience professionnelle sur Apache Airflow, dont une expérience significative et avérée en environnement managé (AWS MWAA, Google Cloud Composer ou équivalent)
• Maîtrise approfondie du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators, et cycle de vie complet
• Expérience confirmée en tuning et optimisation de plateformes Airflow à l'échelle production (200+ DAGs) avec démonstration de réductions de coûts ou d'amélioration de performance
• Expertise AWS certifiée ou démontrée : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM et concepts de sécurité cloud
• Expérience avérée avec les DAG Factories dynamiques : conception, amélioration et optimisation de factories existantes
• Maîtrise des patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux, capacité de reprise automatique
• Observabilité et monitoring avancés : conception de dashboards, métriques métier, alerting structuré, routage d'incidents
• Python avancé : développement de plugins, operators et sensors personnalisés, optimisation de code
• Capacité confirmée de mentorat technique et de transfert de compétences auprès d'équipes hétérogènes (Dev et Ops)

Fortement appréciés :

• Infrastructure as Code (Terraform) : conception et maintien d'infrastructure déclarative à l'échelle
• Expérience directe de migration d'une plateforme d'orchestration vers une autre en environnement production multi-pays
• Connaissance des patterns de Data Mesh ou des principes de décentralisation de la data
• Expérience de leadership technique et de pilotage de programmes d'optimisation transverses (priorisation, suivi, reporting)
• Connaissance des enjeux de conformité et de gouvernance data dans des environnements hautement régulés
• Certification AWS Solutions Architect ou équivalente
• Expérience avec Kubernetes (EKS) ou conteneurisation Docker en contexte d'orchestration
• Participation à des communautés Airflow ou contribution open-source sur le projet