Data Engineer HF, 3 ans d'expérience minimum

Scalian

Not Interested
Bookmark
Report This Job

profile Job Location:

Neuilly-sur-Seine - France

profile Monthly Salary: Not Disclosed
Posted on: 5 hours ago
Vacancies: 1 Vacancy

Job Summary

Vous rejoindrez notre équipe Services publics Protection sociale & Santé qui accompagne les administrations et établissements publics pour mettre lintérêt général au cœur des transformations numériques. Vous participerez à concevoir fiabiliser et industrialiser les pipelines de données nécessaires aux usages métiers tout en facilitant la collaboration avec les équipes et en contribuant à la diffusion dune culture data.

 

MISSIONS :

Vous serez amené à :

Concevoir développer et optimiser des pipelines de données :

Construire des pipelines dingestion automatisés (API batch fichiers etc.) dans une logique dévolutivité.

Développer des transformations robustes et scalables en Python orchestrées avec un outil de gestion de workflows.

Mettre en place des tests unitaires des contrôles de qualité automatisés et des mécanismes dalerte.

 

Modéliser charger et industrialiser dans une démarche CI/CD :

Concevoir des modèles de données adaptés aux usages et les implémenter dans loutil adapté.

Industrialiser les chargements via des workflows et assurer la cohérence des flux entre les environnements.

Surveiller en temps réel les exécutions diagnostiquer les causes déchec et proposer des corrections durables.

Collaborer avec les équipes techniques pour la résolution des incidents et lamélioration continue des traitements.

 

Appuyer le support et accompagner les utilisateurs :

Assurer un appui de niveau 2/3 (analyse de logs relance de jobs correctifs rapides).

Documenter les anomalies tracer les écarts et veiller à la qualité et la disponibilité des données.

Recueillir les besoins métiers liés aux données et contribuer à la fiabilité des chaînes de traitement.


Qualifications :

Formation et expérience

Vous êtes diplômé(e) dun Bac5 (école dingénieurs master universitaire ou école spécialisée en data).

Vous justifiez dau moins 3 ans dexpérience sur des missions liées aux pipelines de données lingestion ou le traitement de data.

Savoir-être

Vous disposez dexcellentes qualités de communication tant à lécrit quà loral.

Vous savez écouter analyser et reformuler les besoins métiers ou techniques afin de proposer des solutions pertinentes et techniques.

Vous êtes autonome rigoureux et structuré dans vos démarches dinvestigation et de résolution de problèmes.

 

Compétences techniques

Vous maîtrisez Python ainsi que lorchestration de workflow tels quAirflow ou équivalent.

Vous savez mener des investigations approfondies (analyse de logs et de métadonnées reproduction derreurs validation de la documentation).

Vous disposez dune bonne connaissance des bases de données SQL.

Une expérience cloud (AWS Azure GCP) ou Big Data (Spark Databricks etc.) est un plus


Informations supplémentaires :

Process rapide

 

Labellisé Great Place to Work pour la 5éme année !


Remote Work :

No


Employment Type :

Full-time

Vous rejoindrez notre équipe Services publics Protection sociale & Santé qui accompagne les administrations et établissements publics pour mettre lintérêt général au cœur des transformations numériques. Vous participerez à concevoir fiabiliser et industrialiser les pipelines de données nécessaires a...
View more view more

Key Skills

  • Apache Hive
  • S3
  • Hadoop
  • Redshift
  • Spark
  • AWS
  • Apache Pig
  • NoSQL
  • Big Data
  • Data Warehouse
  • Kafka
  • Scala

About Company

Company Logo

Established in 1989, the Scalian Group has nearly 5,000 employees in France and abroad. It is organized into 3 business lines specializing in Digital Transformation, Digital Systems and Operations Performance. Scalian has activities in France, the United Kingdom, Belgium, Germany, ... View more

View Profile View Profile