Data Engineer GCP Hadoop PySpark (HF)

🚠À propos dAMI Consulting

ðŸ Entreprise innovante & familiale Lauréat de la bourse InnovUP de BPI France en 2019 AMI Consulting est spécialisé dans lexploitation de la data afin de proposer des consultants experts parfaitement adaptés aux besoins de ses clients.

🌠Engagement durable & bien-être Nous valorisons la qualité de vie de nos collaborateurs et adoptons une approche 100 % digitale pour la qualification la sélection et lintégration de nos talents réduisant ainsi notre empreinte carbone.

🎠Présentation de loffre

ðŸ Localisation : Île-de-France
ðŸ Secteur : Data / Big Data / Cloud
ðŸ Télétravail : Hybride 1 jour de télétravail par semaine
ðŸ Contrat : CDI de mission ou Freelance via portage salarial
ðŸ CDI de mission : 50 k brut annuel
ðŸ Freelance : TJM 480 HT uniquement via société de portage
ðŸðŸ Expérience : 5 ans minimum
ðŸðŸ Français : Courant
ðŸðŸ Anglais : Professionnel échanges avec des équipes internationales

ðŸ Contexte de la mission

Au sein de la DSI de notre client en charge de la conception et de la maintenance des applications stratégiques des métiers du Groupe nous recherchons un Data Engineer GCP / Hadoop / PySpark.

La mission sinscrit dans le cadre de lévolution du Data Lake CIO Office.

Le consultant participera au développement à lévolution et à lindustrialisation des pipelines de données en collaboration avec les équipes de production applicative et DevOps.

Vous évoluerez dans un environnement Big Data Cloud et Agile avec des interactions régulières avec des équipes internationales.

ðŸ Responsabilités

• Concevoir et développer de nouveaux flux dingestion de données
• Développer et maintenir les pipelines Data en PySpark
• Réaliser les traitements de préparation transformation et intégration des données
• Participer à lévolution du Data Lake et des traitements Big Data
• Développer et maintenir des scripts Shell
• Collaborer avec les équipes DevOps sur les évolutions de la plateforme
• Rédiger les spécifications techniques
• Participer aux tests validations et mises en production
• Optimiser les traitements et les performances des pipelines
• Participer aux cérémonies Agile et aux échanges avec les équipes internationales

ðŸï Compétences techniques

• GCP
• Hadoop
• PySpark / Spark
• Shell Scripting
• Data Lake
• Big Data / Data Engineering

ðŸ Profil recherché

• Expérience confirmée en tant que Data Engineer
• Excellente maîtrise de PySpark / Apache Spark
• Expérience significative sur des environnements Hadoop / Big Data
• Bonne connaissance des environnements GCP