Data engineer

Mission : Un profilData ingénieur / Software ingénieur orienté Data avec une expérience significative sur Azure Databricks, python (software engineering) et PySpark.

La connaissance des concepts de Machine Learning, notamment des algorithmes de type bagging et boosting, constitue un atout apprécié.

En tant que Data/Software ingénieur, le prestataire interviendra au sein d'une équipe agile SAFe et contribuera, au travers de user stories, aux activités suivantes :

• Conception et développement des pipelines Data et ML industrialisées et robustes
• Pipelines Batch sous Azure Databricks
• Utilisation avancée de PySpark, Delta Lake, MLFlow, Workflows
• Optimisation des performances : partitionnement, gestion mémoire, exploitation GPU
• Mise en place de mécanismes de reprise d'erreur, de traçabilité et de monitoring
• Collaboration étroite avec les data scientists pour transformer les prototypes en solutions industrielles
• Développement logiciel et services
• Conception et développement de packages python
• Respect des standards de développement du socle (qualité du code, tests unitaires, CI/CD, documentation,)
• API sous Azure Function et/ou Azure Container Apps
• Contribution aux phases projets (étude de faisabilité, architecture, conception, réalisation, MEP) et aux différents activités de RUN et d'amélioration continue
• Participation active aux rituels agiles

Profil recherché

Compétences techniques requises : Azure Databricks

PySpark

Delta Lake

Python