Data engineer-gcp bigquery spark scala

Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données.

Tâches et activités de la mission :

• Récupérer les données issues de sources externes
• Utiliser la puissance du datalake pour le traitement des données
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels
• Mettre en ½uvre la chaîne d'ingestion, validation, croisement et déversement des données dans le datalake
• Développer en respectant les règles d'architecture définies
• Développer et documenter les user stories avec l'assistance du Product Owner
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d'exploitation
• Participer à la mise en ½uvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels

Livrables

• Agrégats de données journaliers, hebdomadaires et mensuels
• Scripts de déploiement
• Documentation des user stories

Profil recherché

Développeur Data / Data Engineer-5 ans dans des rôles similaires

• Plateforme et environnement GCP (indispensable)
• Environnement GKE
• Développement d'API REST
• Stockage : HDFS / GCS
• Traitement : Maîtrise indispensable de l'écosystème Spark, Scala, et si possible Kafka
• Planification : Airflow / Composer
• Méthodologies : Scrum, Kanban, Git
• DWH : SQL, BigQuery, BigTable
• Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

Expérience en développement dans un environnement Scrum / Kanban

Sensibilité et information sur les évolutions technologiques des piles logicielles utilisées

La maitrise de l'anglais est un plus

Longue mission50 % de télétravail