Data engineer devops

Site : Paris, 2 jours sur site Nationalité et langues parlées : Type de projet : concevoir et mettre en oeuvre une nouvelle plateforme d'ingestion et de contrôle qualité quasi-temps réel

Missions principales :

• Concevoir, développer et maintenir une architecture data scalable pour la gestion de gros volumes de séries temporelles issues de différents assets renouvelables,
• Mettre en place des pipelines d'ingestion et de traitement de données en quasi-temps réel, en s'appuyant sur Kafka et/ou Azure Event Hub,
• Implémenter des contrôles qualité automatisés et des mécanismes de monitoring pour garantir la fiabilité et la disponibilité des données,
• Assurer la documentation technique et la veille sur les nouvelles technologies et best practices du domaine,
• Participer à la définition et à l'application des bonnes pratiques DevOps pour l'automatisation, la sécurité et la mise en production des solutions data

• Nb années d'expérience : 5 ans minimum sur un poste similaire, idéalement dans le secteur de l'énergie ou des IoT industriels
• Profil : Data Engineer/DevOps

• Maîtrise avancée de Kafka et/ou Azure Event Hub, y compris la configuration, l'optimisation et la migration de flux de données,
• Expérience solide dans la conception et la maintenance de pipelines de données temps réel (streaming) , idéalement sur des architectures cloud (Azure, AWS, GCP) ,
• Très bonne connaissance des best practices DevOps : CI/CD, infrastructure as code, monitoring, gestion des accès et sécurité,
• Maîtrise des outils et langages de traitement de données (Python, Spark, SQL, etc.)

• Capacité à documenter, partager et vulgariser les choix techniques auprès des équipes
• Autonomie, rigueur, esprit d'innovation et appétence pour les sujets liés à la transition énergétique