Data Engineer (FH)

Votre défi  

Au cœur de notre Data Platform vous prendrez en main des pipelines de données fiables performants et prêts à grandir. 

Sur une stack moderne (Dagster S3 AWS) vous construirez une architecture medallion (bronze / silver / gold) en production. 

Votre rôle est central : garantir une donnée de qualité socle de nos équipes métiers de nos modèles ML et de nos APIs. 

Vos responsabilités 

Ingestion & stockage 

• Concevoir et maintenir des pipelines de données robustes avec Dagster (assets sensors partitions lineage) 

• Ingérer des sources hétérogènes : APIs REST webhooks fichiers bases de données 

• Implémenter larchitecture medallion S3 Bronze Silver Gold 

• Administrer et optimiser les tables Postgre MariaDB ... (schémas index TTL) et implémenter des stratégies de partitionnement adaptées aux volumes et aux patterns de requêtes 

Qualité & observabilité 

• Mettre en place des tests de qualité des alertes de fraîcheur et des métadonnées de suivi (row count anomalies) 

• Superviser la santé des pipelines via Grafana (dashboards alertes SLOs) 

• Documenter le dictionnaire de données et maintenir le lineage 

Exposition & APIs 

• Développer des APIs FastAPI pour exposer les données gold aux consommateurs internes 

• Participer à la définition des contrats de données avec les équipes Product et métiers 

Data product 

• Concevoir des data products réutilisables (datasets versionnés APIs documentées semantic layer) en binôme avec les équipes Product & Analytics 

Notre environnement technique  

Orchestration : Dagster (assets sensors partitions lineage)

Stockage & query : AWS S3 Postrgres ClickHouse AWS Athena 

Langage : Python SQL Pandas 

Format données : Parquet JSON CSV 

Exposition : FastAPI 

Infrastructure : AWS (ECS S3 Athena SNS/SQS) 

CI/CD & versioning : GitLab CI Docker Terraform 

Monitoring : Grafana Dagster UI 

Qualifications :

Indispensable 

• 2 ans minimum dexpérience en data engineering avec Python et solide connaissance de SQL 

• Maîtrise de lécriture de pipelines robustes (gestion derreurs idempotence retry) 

• Expérience avec un orchestrateur de pipelines (Dagster Prefect ou Airflow) et familiarité avec AWS / architectures lakehouse (S3 Parquet Athena) 

Apprécié 

• Expérience spécifique avec Dagster et Postgres 

• Connaissance de larchitecture medallion et des patterns de qualité de données 

• Expérience avec FastAPI pour lexposition de données 

• Maîtrise de GitLab CI et pratique des pipelines CI/CD pour la data 

Softskills 

• Autonomie et sens des priorités dans un environnement proche des besoins métiers 

• Goût pour la documentation et la transmission 

• Mindset product : penser à lutilisateur final de la donnée autant quau pipeline 

• Communication claire avec des interlocuteurs non-techniques 

Informations supplémentaires :

Ce que nous offrons

• Une stack moderne toujours ouverte à de nouveaux outils 

• Un vrai ownership de la conception au monitoring 

• Un environnement hybride et flexible  

• Une équipe Data Platform soudée et bienveillante 

Remote Work :

No

Employment Type :

Full-time