Lead Data Engineer Snowflake HF CDI
Job Summary
En tant que Lead Data Engineer vous êtes la référence technique de la plateforme data. Vous définissez les standards dingénierie les patterns darchitecture et les bonnes pratiques permettant de construire des pipelines fiables observables industrialisés et scalables. Ce rôle couvre lensemble du flux de données ingestion transformation exposition avec une forte attente sur la maîtrise de la production la qualité logicielle et lexcellence opérationnelle.
Responsabilités principales
- Définir et faire évoluer larchitecture des pipelines et des traitements data.
- Structurer les patterns dingénierie couvrant ingestion transformation et exposition.
- Mettre en place les standards DataOps de léquipe : CI/CD tests automatiques qualité monitoring alerting exploitation.
- Piloter la stratégie de fiabilité en production : observabilité incidents reprises SLA / SLO.
- Garantir la performance la scalabilité et la maîtrise des coûts.
- Définir les standards de modélisation et dindustrialisation.
- Encadrer techniquement les Data Engineers et sécuriser les choix techniques.
- Collaborer avec les équipes Cloud Platform Sécurité Analytics et Architecture.
- Contribuer aux chantiers de modernisation rationalisation et migration des plateformes data.
Qualifications :
- Excellente maîtrise de SQL Python et des pratiques dingénierie de données en production.
- Très bonne compréhension des architectures data end-to-end : ingestion transformation exposition consommation analytique.
- Maîtrise des orchestrateurs du scheduling des stratégies de reprise et du traitement des incidents.
- Expérience avancée dans la conception de pipelines robustes : idempotence reprocessing backfills gestion des dépendances.
- Maîtrise des architectures médaillon et de leur industrialisation.
- Maîtrise des approches de modélisation : Data Vault 2.0 (Raw Vault / Business Vault) et modélisation dimensionnelle avancée.
- Capacité à standardiser frameworks patterns conventions de nommage et règles de qualité.
- Mise en œuvre de pipelines CI/CD pour le déploiement des traitements data.
- Définition et automatisation de tests techniques et fonctionnels (qualité schéma régression intégration).
- Mise en place dune observabilité data complète : logs métriques dashboards alerting runbooks
- Leadership technique reconnu.
- Capacité à structurer arbitrer et faire converger.
- Forte culture de la fiabilité et de la qualité.
- Capacité à coacher et faire progresser les équipes.
- Excellente communication avec des interlocuteurs techniques et transverses.
Informations supplémentaires :
- Snowflake : bases schémas warehouses optimisation des requêtes et gestion des coûts.
- SQL ELT gestion des données semi-structurées (JSON) et patterns dingestion cloud.
- Snowpipe / Snowpipe Streaming Streams Tasks Dynamic Tables selon les cas dusage.
- RBAC policies de sécurité masking et gouvernance des accès.
Remote Work :
No
Employment Type :
Full-time
About Company
Talan is an international consulting and technology expertise group that accelerates the transformation of its clients by leveraging innovation, technology, and data. For over 20 years, Talan has been advising and supporting businesses and public institutions in the implementation of ... View more