Data Platform Engineer

VusionGroup SA

Not Interested
Bookmark
Report This Job

profile Job Location:

Paris - France

profile Monthly Salary: Not Disclosed
Posted on: 12 hours ago
Vacancies: 1 Vacancy

Job Summary

Nous construisons. Nous créons un impact positif.

En tant que Data Platform Engineering / DataOps vous serez chargé(e) à la fois de créer des pipelines de production et de renforcer lécosystème à laide de normes de contrôles qualité de mesures de gouvernance et dobservabilité afin que les équipes produit puissent livrer plus rapidement des données fiables.

Vos projets

  1. Migrer les architectures multi-technologies Databricks Unity Catalog dbt
  • Évaluer les flux existants (batch/stream orchestrations modèles coût/performance) et définir des modèles cibles (Delta Lake Databricks Jobs/Workflows modèles dbt).
  • Réécrire les pipelines (Kubernetes/Airflow/Spark/SQL) et replatformer les modèles dans dbt en appliquant les conventions de nommage les tests et la documentation.
  • Intégrer les actifs dans Unity Catalog (RBAC/ACL lignage masquage des données/PII) structurer les catalogues/schémas et gérer les autorisations.

 

  1. DataOps & reliability
  • Mettre en œuvre des systèmes robustes et tolérants aux pannes pour lingestion et le traitement des données.
  • Renforcer la CI/CD des données (tests dbt dans PR linting vérifications de schéma) et lorchestration avec réessai/backoff dépendances et conformité avec les SLAs.
  • Déployer lobservabilité de bout en bout (métriques du pipeline fraîcheur couverture des tests) et les alertes (par exemple Datadog) avec des playbooks et des objectifs de temps moyen de réparation (MTTR).
  • Définir et surveiller les contrats de données et les SLO avec les équipes consommatrices et garantir la conformité.
  • Tenir à jour la documentation (catalogue définitions des métriques journaux des modifications) et créer des runbooks standardisés pour laudit et le déploiement des données
  1. Continuous Improvement
  • Optimiser les tâches/tables Delta (partitioning ZOrder OPTIMIZE autoscaling) ; surveiller les coûts/performances (budget rentabilité unitaire par pipeline).
  1. Collaboration & enablement
  • Travailler en collaboration avec différentes équipes notamment celles chargées de data science infrastructure équipe software équipe produit et équipe conseil afin de comprendre leurs besoins en matière de données et de leur fournir des solutions.
  • Collaborer avec les Client Analytics Engineers afin de traduire les besoins des retailers en modèles fiables et faciles à maintenir.
  • Diffuser les bets practices (modèles dbt guides dintégration listes de contrôle qualité).
  • Former les membres de léquipe à linterrogation SQL dans Databricks et diriger les mises à jour pendant les sessions Data Domain.

Vos missions :

  • Déployer les directives existantes pour migrer les pipelines dingestion/ELT sur Databricks (jobs/workflows Spark/SQL) et les modèles dbt avec des tests et des documents.
  • Créer des blocs de code standardisés à utiliser par le reste de léquipe et gérer les PRs acceptées afin de limiter la dette technique.
  • Déployer lobservabilité (dashboard Datadog alertes) et réduire le MTTR à laide de runbooks exploitables.
  • Gérer les ensembles de données sous Unity Catalog (catalogues/schémas/tables lignage accès masquage) afin de garantir la conformité et la sécurité.
  • Piloter les contrats de données et les SLO surveiller la fraîcheur/qualité/dérive des schémas.
  • Tenir à jour une documentation claire et fournir des modèles afin daccélérer les migrations ultérieures.

Qualifications :

    •  
  • 3 à 5 ans dexpérience en Data Engineering / DataOps avec livraison en production.
  • Maîtrise de SQL et Spark ; expérience pratique de Databricks (Jobs/Workflows Delta) y compris loptimisation des coûts/performances (autoscaling spot tuning).
  • Une expérience pratique avec dbt (modèles tests documentation) ou dautres tests est un plus.
  • Solide compréhension de la gouvernance avec Unity Catalog (RBAC lignage PII).
  • Esprit CI/CD et culture de lobservabilité (tests automatisés métriques alertes runbooks) idéalement avec Datadog.
  • Connaissance des conteneurs (Docker/K8s) du streaming (Kafka/Event Hubs) et des orchestrateurs (Airflow Prefect Dagster) appréciée.
  • Expérience en analyse de données dans le domaine du retail (ventes marges promotions fidélisation) appréciée.
  • Esprit déquipe et excellentes compétences en communication pour collaborer avec des équipes interfonctionnelles absolument indispensables.

Informations supplémentaires :

Nous innovons. Nous accélérons. Nous forgeons nos carrières. 

Notre mission consiste à faire du magasin physique un véritable atout digital. 

Nous sommes des entrepreneurs en quête dinnovation nos équipes sont internationales et curieuses du monde qui nous entoure. 
La diversité culturelle est inscrite dans notre ADN. Cest une force unique qui nous permet de travailler ensemble pour servir nos clients partout dans le monde. 

La croissance de notre Groupe est un véritable catalyseur pour votre développement de carrière. Votre évolution sera rapide et vous aurez toute latitude pour façonner votre propre avenir en France comme à linternational.  

Vous êtes la clé de notre succès: des talents agiles innovants passionnés et qui nont pas peur de prendre des risques déchouer et dapprendre de leurs erreurs. Quel que soit votre rôle chez Vusion vous contribuerez à réinventer et réimaginer le commerce de demain. 

Ce nest pas tout à fait le poste de vos rêves  

Partagez cette offre ou recherchez une autre opportunité parmi toutes les offres demploi sur  Work :

No


Employment Type :

Full-time

Nous construisons. Nous créons un impact positif.En tant que Data Platform Engineering / DataOps vous serez chargé(e) à la fois de créer des pipelines de production et de renforcer lécosystème à laide de normes de contrôles qualité de mesures de gouvernance et dobservabilité afin que les équipes pro...
View more view more

Key Skills

  • Apache Hive
  • S3
  • Hadoop
  • Redshift
  • Spark
  • AWS
  • Apache Pig
  • NoSQL
  • Big Data
  • Data Warehouse
  • Kafka
  • Scala

About Company

Are you ready to develop the future of retail?  VusionGroup est une entreprise de retail tech en forte croissance. Implanté dans 19 pays sur 3 continents, nous sommes leader mondial des solutions de digitalisation du commerce physique.Nous inventons des technologies qui créent un impa ... View more

View Profile View Profile