Data Engineer Confirme
Data Engineer Confirme
Employer Active
Job Alert
You will be updated with latest job alerts via email
Share
Job Alert
You will be updated with latest job alerts via email
Job Description
Au sein de notre DataLab tu travailles conjointement avec les Data Scientists Data Engineers MLE/MLOps engineer dj en poste et tu es impliqu.e dans la prise de dcisions lie aux solutions Data et son volution.
A cet effet tu es en charge de :
Contribuer au dveloppement de notre offre Data et lindustrialisation de plateformes data pour nos clients
Comprendre analyser et proposer des solutions techniques rpondant aux besoins des Plateformes digitales et des projets internes
Dfinir larchitecture logiciel ETL / ELT en collaboration avec vos pairs
Travailler la donne sous toutes ses formes (stockage laboration de modles structuration nettoyage)
Rdiger de la documentation technique (diagrammes UML documentation dAPI
Partager votre savoirfaire entre les diffrents membres de lquipe
Concevoir et dvelopper des connecteurs entre les sources de donnes (internes et/ou externes) et la plateforme
Concevoir et dvelopper des pipelines de traitements de donnes (batch et/ou temps rel) dans un environnement Big Data
Assurer une veille technologique et savoir mener bien un projet de R&D
Tu assures en autonomie les missions suivantes en interne ou auprs de nos clients grands comptes :
Cartographier des donnes et des flux de donnes
Implmenter des algorithmes danalyse de donnes pour lindustrialisation
Collecter consolider et modliser de gros volumes de donnes (Big Data Data Warehouses Data Lakes)
Dvelopper et automatiser des flux de donnes et leurs visualisations en dashboards reporting
Sassurer de la scalabilit scurit stabilit et disponibilit des donnes de la plateforme
Analyser les donnes web pour rpondre aux questions mtiers et participer la construction de larchitecture Big Data
Mettre en place du squencement et de la supervision des flux prcites en grant les cas limites
Comptences attendues :
Bon niveau en dveloppement: :
De script ETL : Python (Pandas API Rest FaaS) Java (ex Kafka Connect SOAP) Spark (PySpark Databricks Delta Lake)
De script ETL : DBT (ex. Snowflake PostgreSQL)
Connaissance conception et administration dentrept de donnes: Snowflake Big Query PostgreSQL
LakeHouse : Delta LakeConnaissance message broker RabbitMQ Kafka
Comptences cloud :KubernetesConteneurisation Fournisseur cloud (AWS GCP ou Azure) Infrastructure As Code (Terraform)
Exprience darchitecture et de dimensionnement dune architecture cloud via des services manags
Cartographie des donnes
Employment Type
Full-Time
