Senior data engineer Python (HF)
Share
Job Location:
Monthly Salary:
Posted on:
3 days ago
Vacancies:
1 Vacancy
Job Summary
Léquipe R&D
Chez Skillup la R&D regroupe environ 30 personnes (développement produit design).
Elle est organisée autour de feature teams (par module) et déquipes transverses dont léquipe Data.
Léquipe Data est aujourdhui composée de 3 personnes : 2 Data Engineers et 1 Data Analyst.
Elle intervient sur des sujets structurants et critiques pour le produit : intégrations imports/exports synchronisation de données pipelines référentiels et fiabilité de bout en bout. Le périmètre est très système avec des enjeux de robustesse maintenabilité et passage à léchelle.
Le poste est rattaché au CTO (Jérémie).
Le rôle
En tant que Senior Data Engineer tu prends en charge des sujets data complexes de la conception à la mise en production avec une exigence forte sur la qualité et lopérabilité.
Cest un poste senior hands-on avec un haut niveau dautonomie.
Il nimplique pas de management. En revanche il peut ouvrir vers un rôle de référent / lead technique à terme selon tes envies et lévolution de lorganisation.
Méthode de travail
Skillup déploie progressivement Shape Up (déjà en place dans la plupart des équipes).
Côté Data lobjectif est de saligner sur ce cadre avec des ajustements liés à la nature des sujets (systèmes run variabilité des urgences).
Lenjeu est de préserver une capacité de build sur des cycles tout en assurant un niveau de service et de fiabilité élevé sur lexistant.
Missions
Concevoir et livrer des systèmes data robustes
Concevoir développer et maintenir des intégrations (SaaS partenaires outils clients) et des flux imports/exports.
Construire et faire évoluer des pipelines et services data : qualité performance coût scalabilité.
Formaliser des contrats invariants et validations (tests contrôles data quality) pour sécuriser les flux et les transformations.
Maintenir une base de documentation fiable : architecture runbooks conventions décisions techniques.
Industrialiser lapproche intégrations avec lagentique
Le sujet prioritaire de léquipe est de faire passer les intégrations à léchelle avec un paradigme fort autour de lagentique : agents et automatisations au service de la maintenabilité et de lopérabilité.
Dans ce cadre ton impact passera notamment par :
la conception de patterns réutilisables (connecteurs abstractions workflows)
la structuration des pratiques (tests checklists conventions)
une documentation de haute qualité pensée aussi pour être exploitable par des agents (clarté précision complétude).
Qualité exploitation et entraide déquipe
Contribuer à la fiabilité en production (monitoring alerting investigations ponctuelles).
Participer aux rituels communs et assurer une continuité lors des absences/congés en soutien de lactivité opérationnelle.
Tirer léquipe vers le haut via les reviews la transmission et lamélioration continue des standards.
Stack
Langage / Backend : Python FastAPI
Orchestration / jobs : Airflow
Stockage : PostgreSQL MongoDB Neo4j (selon besoins)
Infra : S3
Tooling interne : Streamlit
Observabilité : OpenTelemetry Datadog
Required Experience:
Senior IC
Key Skills
- Apache Hive
- S3
- Hadoop
- Redshift
- Spark
- AWS
- Apache Pig
- NoSQL
- Big Data
- Data Warehouse
- Kafka
- Scala
About Company
Digitalisez votre gestion des Talents avec Skillup, le logiciel qui aide les équipes RH à engager les collaborateurs et fluidifier les processus RH.
