Senior Data Engineer Lead Dev Lead PySpark Fin Ops HF
Senior Data Engineer Lead Dev Lead PySpark Fin Ops HF
Employer Active
Job Alert
You will be updated with latest job alerts via email
Share
Job Alert
You will be updated with latest job alerts via email
Job Description
Dans le cadre dun projet de refonte de pipeline de donnes et de modernisation des pratiques de Data Engineering nous recherchons un Consultant Data Engineer expriment pour accompagner nos quipes mtiers et techniques dans lanalyse la modlisation et la mise en uvre de solutions cloud natives performantes.
Mission :
Analyser et cartographier les modles de donnes actuels avec les experts mtiers : flux interSI rgles de validation filtrage et transformations existantes.
Assister les architectes dans la conception dun nouveau pipeline de donnes exploitant les services cloud (AWS / Azure).
Accompagner lquipe de dveloppement sur limplmentation technique : bonnes pratiques de Data Engineering outillage (ETL Glue Spark) structuration des bases et traitements distribus.
Implmenter une culture agile autour de la donne : crmonies itrations coordination avec les quipes transverses.
Documenter les modles de donnes les rgles de transformation et les flux interconnects.
Qualifications :
Profil expriment 4 ans dexpriences minimum.
Matrise des outils de traitement de la donne : Spark (Scala ou Python) ETL (Glue Airflow) DataBricks.
Exprience avec les bases de donnes relationnelles et fichiers distribus (Parquet S3 RDS).
Bonne connaissance des architectures cloud AWS et/ou Azure.
Matrise des outils DevOps : Git Terraform.
Capacit documenter et maintenir un catalogue de donnes.
Informations supplmentaires :
Expriences significatives en Data Engineering sur des pipelines batch ou streaming.
Pratique des services cloud orients data : Glue Airflow OpenSearch S3.
Contexte multiSI avec changes entre plusieurs sources partenaires
Remote Work :
No
Employment Type :
Fulltime
Employment Type
Full-time
