Data Engineer Databricks Confirmé Tech Lead (HF)
Share
Job Location:
Saint-Priest - France
Monthly Salary:
Not Disclosed
Posted on:
15 hours ago
Vacancies:
1 Vacancy
Job Summary
Nous recherchons un Data Engineer confirmé souhaitant évoluer vers un rôle de Tech Lead avec une expertise forte sur Databricks. Vous interviendrez sur des plateformes data modernes de type Lakehouse chez des clients grands comptes et internationaux dans des contextes de build de scale ou de modernisation.
En tant que référent technique Databricks vous jouerez un rôle clé dans la structuration des architectures la définition des standards dingénierie et la montée en maturité des équipes sans management hiérarchique direct.
Vos responsabilités
Leadership technique & architecture
- Incarner lexpertise de référence sur Databricks dbt et Delta Live Tables pour les projets à enjeux.
- Concevoir des architectures Lakehouse scalables sécurisées et maintenables (Delta Lake Unity Catalog streaming).
- Définir et faire appliquer les standards dingénierie data : modularité tests CI/CD observabilité gouvernance.
- Challenger et optimiser les implémentations existantes (Photon autoscaling optimisation Delta workflows).
Industrialisation & qualité dingénierie
- Industrialiser des pipelines ELT/ETL batch et streaming via Databricks Workflows et Delta Live Tables.
- Structurer lusage de dbt : modèles tests documentation macros exposures et bonnes pratiques.
- Mettre en œuvre des pipelines CI/CD avancés (Git revues de code déploiements automatisés).
- Garantir la fiabilité la résilience et la reproductibilité des plateformes en production.
Pilotage & influence
- Accompagner les équipes data (Data Engineers Analysts ML Engineers) dans leur montée en compétences.
- Collaborer étroitement avec architectes product owners et responsables métiers.
- Réaliser des audits techniques diagnostics de performance et plans de remédiation.
- Contribuer aux roadmaps data des clients et à leurs arbitrages technologiques.
Votre quotidien chez TeamWork
- Développement de pipelines data batch et streaming sur Databricks avec Delta Live Tables.
- Conception et optimisation de modèles dbt (tests documentation performance).
- Mise en œuvre darchitectures Lakehouse complètes (stockage gouvernance compute workflows).
- Animation dateliers techniques mentoring et revues de bonnes pratiques.
- Résolution de problématiques complexes : performance coûts qualité des données gouvernance.
- Veille technologique active sur lécosystème Databricks.
Qualifications :
Formation & expérience
- Bac5 en informatique data engineering ou discipline équivalente.
- 3 à 5 ans dexpérience en Data Engineering dont une expérience significative sur Databricks.
- Pratique confirmée darchitectures Lakehouse ou de plateformes data modernes.
- Première expérience en rôle de Tech Lead ou forte appétence pour le leadership technique.
Expertise technique
- Databricks : notebooks repos workflows job clusters Delta Lake Auto Loader.
- Delta Live Tables : pipelines expectations orchestration.
- dbt (Core ou Cloud) : modèles tests documentation macros exposures.
- SQL avancé et maîtrise dun langage de programmation (Scala fortement apprécié Python accepté).
- Bonne compréhension de Spark (Scala ou Python).
- Gouvernance & sécurité : Unity Catalog RBAC data lineage catalogues.
- CI/CD et testing automatisé (Azure DevOps GitHub Actions GitLab CI).
Atouts appréciés : Structured Streaming MLflow Databricks Asset Bundles Terraform.
Savoir-être
- Exigence technique élevée et goût pour lingénierie de qualité.
- Leadership naturel capacité à guider et faire progresser les équipes.
- Rigueur sens de lindustrialisation et culture produit.
- Communication claire pédagogie et capacité danimation.
- Autonomie proactivité et sens du service en environnement client.
Informations supplémentaires :
- Rôle à forte visibilité technique sur des projets stratégiques.
- Possibilités dévolution vers des rôles de Lead Data Engineer Architecte Data ou Expert Databricks.
- Environnement favorisant la formation continue le partage de connaissances et les certifications.
Parce que la diversité et linclusion sont des richesses nous accueillons et valorisons toutes les candidatures notamment celles de personnes en situation de handicap.
Envie de rejoindre laventure TeamWork France
Cliquez sur Postuler pour déposer votre candidature via SmartRecruiters.
Lexpérience candidat est fluide simple et rapide.
Pas de friction. Que du lien.
TeamWork Where Talent & Trust Meet
Suivez-nous sur Découvrez notre univers sur
Remote Work :
No
Employment Type :
Full-time
Key Skills
- Apache Hive
- S3
- Hadoop
- Redshift
- Spark
- AWS
- Apache Pig
- NoSQL
- Big Data
- Data Warehouse
- Kafka
- Scala
About Company
TeamWork est un acteur majeur du conseil, de l’intégration technologique et de l’innovation, implanté en Europe, en Asie et en Amérique du Nord. Au travers de ses univers, SAP Business Solutions, Data Analytics, Technology Platform et Salesforce, nous sommes reconnus par nos clients p ... View more
