Data Engineer Platform Streaming & Kafka Self-Service HF 5 ans expérience

HELPLINE Lille recherche son nouveau talent sur la fonction de Data Engineer H/F positionné(e) directement au cœur des équipes ingénierie chez notre client grand compte sur la métropole lilloise.

Au sein de léquipe Data Engineering (composée de plusieurs Développeurs dun PO et dun EM) votre mission principale consistera à concevoir bâtir et automatiser une plateforme de streaming de données basée sur Kafka utilisable en self-service par les différentes équipes de développement.

Lobjectif majeur est de proposer une alternative moderne et événementielle aux architectures ETL historiques du groupe afin daccélérer la transition vers une Data Platform cible et de renforcer lautonomie des équipes Software.

Qualifications :

Ce que nous allons accomplir ensemble :

• Architecture & Self-Service : Mettre en place la configuration as-code de la plateforme Kafka et de son écosystème. Déployer des outils Self-Service (notamment via KRO - Kafka Resource Operator) pour permettre aux équipes de provisionner leurs ressources Kafka de manière autonome.
• CI/CD & Automation : Concevoir et maintenir les pipelines de CI/CD sous GitLab CI et appliquer une approche GitOps / IaC pour lautomatisation des ressources.
• Documentation & Support : Rédiger la documentation les guides de bonnes pratiques utilisateurs et les procédures dexploitation tout en assurant le support technique du quotidien auprès des équipes consommatrices.
• Projets structurants : Participer activement aux étapes de conception dévolution et dextension de la nouvelle Data Platform globale.

Organisation du travail : Rythme de travail en hybride (3 jours fixes sur site / 2 jours en télétravail).
Le poste est soumis à des astreintes.

Informations supplémentaires :

• Ce poste est fait pour vous si :

  Vos compétences incontournables (Must Have) :

• Apache Kafka & Kafka Connect : Excellente maîtrise de larchitecture Kafka et de la gestion des connecteurs (Source / Sink).
• Conteneurisation & Orchestration : Expérience forte dans le déploiement darchitectures distribuées sous Kubernetes & Docker.

• Ce qui fera la différence (Nice to Have) :

• Expérience dans la construction dune Data Platform (Data Lake Data Mesh architectures événementielles Iceberg Snowflake).
• Connaissance de KRO (Kafka Resource Operator) et implémentation de logique self-service avec des opérateurs Kubernetes.
• Sensibilité aux enjeux FinOps et à loptimisation des coûts dinfrastructure Cloud.
• Esprit déquipe rigueur autonomie et appétence pour le partage de connaissances.
•  
• CI/CD & IaC : Maîtrise de GitLab CI/CD et pratique des méthodologies GitOps / Infrastructure as Code.
• Observabilité : Maîtrise des outils de monitoring (Prometheus Datadog OpenTelemetry).

Tous nos postes se conjuguent au féminin et au masculin et sont bien évidemment ouverts aux personnes en situation de handicap.

Remote Work :

No

Employment Type :

Full-time