Data engineer AWS Python Apache Iceberg

Missions principales

1. Conception et développement de pipelines de données

• Concevoir développer et maintenir des pipelines ETL/ELT pour collecter transformer et charger des données massives (batch et streaming).
• Utiliser Apache Kafka pour la gestion des flux de données en temps réel.
• Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID time travel partitionnement).
• Automatiser les processus de traitement de données à grande échelle.

2. Intégration et optimisation des données

• Travailler avec des formats de données JSON (parsing validation transformation).
• Optimiser les performances des pipelines (vitesse scalabilité fiabilité) sur AWS (Glue Lambda EMR Kinesis).
• Mettre en place des mécanismes de qualité des données (data validation monitoring alerting).
• Intégrer des sources de données hétérogènes (APIs bases de données fichiers).

3. Collaboration et industrialisation

• Collaborer avec les équipes DevOps pour déployer et maintenir les solutions data en environnement cloud (AWS).
• Participer à la mise en place de tests et de validations pour garantir la qualité des données.
• Documenter les processus les architectures et les bonnes pratiques.
• Assurer la sécurité des données (chiffrement IAM conformité RGPD).

4. Veille technologique et innovation

• Suivre les avancées technologiques en Data Engineering (ex : évolutions dApache Iceberg nouvelles fonctionnalités AWS).
• Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts réduction de la latence).
• Participer à des ateliers ou formations pour monter en compétences.

Missions internes (expertise & contribution)

• Contribuer à la veille technologique et au benchmark des outils et méthodologies.
• Participer à lamélioration des méthodologies internes (ex : templates de pipelines bonnes pratiques AWS).
• Accompagner et coacher des consultants juniors sur les technologies Python Kafka Iceberg.
• Soutenir les équipes commerciales en amont des réponses aux appels doffres.

Qualifications :

Profil recherché

• Formation : Bac5 en informatique data science mathématiques appliquées ou école dingénieur.
• Expérience : 6 ans minimum en Data Engineering avec une expertise avérée sur :
  • AWS (services data et serverless).
  • Python (développement de pipelines scripts dautomatisation).
  • Apache Kafka (conception de topics producteurs/consommateurs Kafka Connect).
  • Apache Iceberg (création et gestion de tables optimisation des requêtes).
  • JSON (manipulation avancée schémas validation).
• Compétences techniques :
  • Maîtrise des formats de données (JSON Parquet Avro).
  • Expérience en modélisation de données et en SQL avancé.
  • Connaissance des bonnes pratiques DevOps (Docker Kubernetes Terraform).
• Soft skills :
  • Capacité à travailler en équipe pluridisciplinaire.
  • Rigueur curiosité et esprit dinnovation.
  • Bonne communication technique et pédagogique (en français et anglais courant).

Remote Work :

No

Employment Type :

Full-time