Data Engineer MS Fabric PySpark

En tant quIngénieur Data vous rejoindrez notre équipe data afin de participer à des projets stratégiques danalyse de données et de mise en place de solutions de traitement de données à grande échelle. Vous serez responsable de la conception de loptimisation et du développement de pipelines de données sur des plateformes cloud avec un focus sur lutilisation de PySpark et Azure Data Factory.

Vos principales missions seront :

• Concevoir développer et maintenir des pipelines de données à grande échelle utilisant PySpark.
• Mettre en place des flux de données avec Azure Data Factory en intégrant des sources et destinations de données variées (SQL Data Lakes APIs etc.).
• Assurer lintégration de données provenant de systèmes variés dans un environnement cloud (Azure).
• Optimiser les performances des traitements de données (SQL PySpark etc.).
• Collaborer avec les équipes métier data analysts et data scientists pour comprendre les besoins et proposer des solutions efficaces et scalables.
• Participer à la définition de larchitecture des données et de la stratégie de gouvernance.
• Mettre en place et assurer le monitoring des jobs de traitement de données (gestion des erreurs gestion des performances).
• Documenter les solutions mises en place et suivre les bonnes pratiques de développement.
• Participer à lamélioration continue des processus et outils existants.

Qualifications :

Formation et expérience :

• Bac 5 en informatique data science ou dans un domaine équivalent.
• Minimum de 3 ans dexpérience sur un poste similaire avec une expérience confirmée en développement sur PySpark et Azure Data Factory.

Compétences techniques :

• Maîtrise de PySpark pour le traitement de données massives en environnement distribué.
• Expérience significative dans la mise en place et la gestion de Azure Data Factory pour la création et lorchestration de pipelines de données.
• Solide expérience en bases de données relationnelles et non relationnelles (SQL NoSQL).
• Connaissance des outils de gestion de données dans lécosystème Azure (Azure Data Lake Azure SQL Database Azure Blob Storage etc.).
• Connaissances pratiques des services cloud Azure et de leur utilisation dans des solutions de traitement de données (Azure Databricks Azure Synapse Analytics etc.).
• Expérience avec des outils de gestion de versions (Git Azure DevOps etc.) et des bonnes pratiques de développement logiciel.
• Connaissance des concepts de Big Data et de loptimisation des performances dans des environnements distribués.

Aptitudes personnelles :

• Autonomie rigueur et sens du détail.
• Excellente capacité à résoudre des problèmes techniques complexes.
• Bonnes compétences en communication et capacité à travailler en équipe.
• Esprit danalyse et capacité à comprendre les besoins métier pour proposer des solutions adaptées.

Informations supplémentaires :

Pourquoi rejoindre notre équipe

• Un environnement dynamique et innovant au sein dune équipe passionnée par les technologies de données.
• La possibilité de travailler sur des projets denvergure à la pointe des technologies cloud et Big Data.
• Des opportunités dévolution et de formation continue pour développer vos compétences.
• Un cadre de travail flexible et des avantages attractifs.

Remote Work :

Yes

Employment Type :

Full-time