Data engineer

Contexte

Vous rejoignez une équipe data transverse intervenant sur des outils critiques d'analyse et de pilotage, au sein d'un grand environnement SI complexe.

L'équipe est structurée autour de trois pôles complémentaires :

• Développement (fonctionnel & industrialisation)
• Data (compréhension, connexion et traitement de données issues du SI)
• Métier / Testing (validation des processus et des développements)

Elle conçoit et maintient des outils fortement connectés aux gisements de données du système d'information, avec une exigence élevée d'industrialisation, de fiabilité et de qualité (intégration SI, tests, architecture) .

L'un des outils principaux permet l'analyse de la performance opérationnelle à partir de nombreux flux de données. Dans un contexte d'évolution du SI (migrations, décommissionnements) , des adaptations, fiabilisations et mises à jour des flux sont nécessaires.? Mission principale

Vous assurez la continuité, l'évolution et l'industrialisation des flux de données alimentant les outils d'analyse, en garantissant :

• L'intégration en production de nouveaux flux de données (formats évolués type parquet)
• L'alimentation continue via de nouveaux services exposés
• Le maintien et le bon fonctionnement des ETL existants
• L'absence de régression fonctionnelle lors de l'intégration de nouveaux flux ? Activités clés
• 1. Traitement et intégration des flux
• Finaliser le branchement aux nouveaux flux en production
• Intégrer les données selon l'avancement des services fournis
• Garantir la qualité, la continuité et la fiabilité des flux consommés par les outils
• 2. Fiabilisation & automatisation
• Industrialiser la récupération des données
• Automatiser les mécanismes de rattrapage simples et complexes
• Maintenir et faire évoluer les ETL existants
• 3. Analyse & définition des formats
• Analyser les nouvelles données sources
• Définir les formats d'échange nécessaires à l'alimentation des outils
• Produire la documentation associée
• 4. Développement & déploiement
• Développer et déployer en production les solutions SSIS / SQL / scripts
• Mettre à jour les pipelines Azure DevOps
• Assurer le paramétrage, le packaging et la planification des traitements
• 5. Pilotage & indicateurs
• Mettre en place des KPI BI de suivi (intégration, disponibilité, erreurs)
• Accompagner les équipes de développement sur l'exploitation des nouveaux jeux de données

Profil recherché

Maîtrise de SQL Server 2019, SSIS et Python

Bon niveau en automatisation, gestion de flux et ETL

Connaissance des environnements Azure DevOps

Compétences appréciées : Spark, C#, Power BI

Autonomie, rigueur et sens de l'organisation

Bon relationnel, esprit d'équipe

Capacité d'analyse et d'adaptation