Data Engineer Confirmé.e

Caen - France

Monthly Salary: Not Disclosed

Posted on: Yesterday

Vacancies: 1 Vacancy

Job Summary

Au sein de notre practice Data & AI tu travailles conjointement avec les Data Scientists Data Engineers MLE/MLOps engineer déjà en poste et tu es impliqué.e dans la prise de décisions liée aux solutions Data et à son évolution.

A cet effet tu es en charge de :

Contribuer au développement de notre offre Data et à lindustrialisation de plateformes data pour nos clients
Comprendre analyser et proposer des solutions techniques répondant aux besoins des Plateformes digitales et des projets internes
Définir larchitecture logiciel ETL / ELT en collaboration avec vos pairs
Travailler la donnée sous toutes ses formes (stockage élaboration de modèles structuration nettoyage)
Rédiger de la documentation technique (diagrammes UML documentation dAPI )
Partager votre savoir-faire entre les différents membres de léquipe
Concevoir et développer des connecteurs entre les sources de données (internes et/ou externes) et la plateforme
Concevoir et développer des pipelines de traitements de données (batch et/ou temps réel) dans un environnement Big Data
Assurer une veille technologique et savoir mener à bien un projet de R&D

Tu assures en autonomie les missions suivantes en interne ou auprès de nos clients grands comptes :

Cartographier des données et des flux de données
Implémenter des algorithmes danalyse de données pour lindustrialisation
Collecter consolider et modéliser de gros volumes de données (Big Data Data Warehouses Data Lakes)
Développer et automatiser des flux de données et leurs visualisations en dashboards reporting
Sassurer de la scalabilité sécurité stabilité et disponibilité des données de la plateforme
Analyser les données web pour répondre aux questions métiers et participer à la construction de larchitecture Big Data
Mettre en place du séquencement et de la supervision des flux précitées en gérant les cas limites

Compétences attendues :

Bon niveau en développement: :

De script ETL : Python (Pandas API Rest FaaS) Java (ex Kafka Connect SOAP) Spark (PySpark Databricks Delta Lake)
De script ETL : DBT (ex. Snowflake PostgreSQL)
Connaissance conception et administration dentrepôt de données: Snowflake Big Query PostgreSQL
LakeHouse : Delta LakeConnaissance message broker RabbitMQ Kafka
Compétences cloud :KubernetesConteneurisation Fournisseur cloud (AWS GCP ou Azure) Infrastructure As Code (Terraform)
Expérience darchitecture et de dimensionnement dune architecture cloud via des services managés
Cartographie des données

A cet effet tu es en charge de :

Contribuer au développement de notre offre Data et à lindustrialisation de plateformes data pour nos clients
Comprendre analyser et proposer des solutions techniques répondant aux besoins des Plateformes digitales et des projets internes
Définir larchitecture logiciel ETL / ELT en collaboration avec vos pairs
Travailler la donnée sous toutes ses formes (stockage élaboration de modèles structuration nettoyage)
Rédiger de la documentation technique (diagrammes UML documentation dAPI )
Partager votre savoir-faire entre les différents membres de léquipe
Concevoir et développer des connecteurs entre les sources de données (internes et/ou externes) et la plateforme
Concevoir et développer des pipelines de traitements de données (batch et/ou temps réel) dans un environnement Big Data
Assurer une veille technologique et savoir mener à bien un projet de R&D

Tu assures en autonomie les missions suivantes en interne ou auprès de nos clients grands comptes :

Cartographier des données et des flux de données
Implémenter des algorithmes danalyse de données pour lindustrialisation
Collecter consolider et modéliser de gros volumes de données (Big Data Data Warehouses Data Lakes)
Développer et automatiser des flux de données et leurs visualisations en dashboards reporting
Sassurer de la scalabilité sécurité stabilité et disponibilité des données de la plateforme
Analyser les données web pour répondre aux questions métiers et participer à la construction de larchitecture Big Data
Mettre en place du séquencement et de la supervision des flux précitées en gérant les cas limites

Compétences attendues :

Bon niveau en développement: :

De script ETL : Python (Pandas API Rest FaaS) Java (ex Kafka Connect SOAP) Spark (PySpark Databricks Delta Lake)
De script ETL : DBT (ex. Snowflake PostgreSQL)
Connaissance conception et administration dentrepôt de données: Snowflake Big Query PostgreSQL
LakeHouse : Delta LakeConnaissance message broker RabbitMQ Kafka
Compétences cloud :KubernetesConteneurisation Fournisseur cloud (AWS GCP ou Azure) Infrastructure As Code (Terraform)
Expérience darchitecture et de dimensionnement dune architecture cloud via des services managés
Cartographie des données