Senior Data Engineer

Devoteam

Not Interested
Bookmark
الإبلاغ عن هذه الوظيفة

profile موقع الوظيفة:

Casablanca - المغرب

profile الراتب شهرياً: لم يكشف
تاريخ النشر: نُشرت قبل 3 ساعة
عدد الوظائف الشاغرة: 1 عدد الوظائف الشاغرة

ملخص الوظيفة

Dans le cadre du renforcement des équipes Data nous recherchons des profils capables de concevoir industrialiser et optimiser des plateformes de données (batch & temps réel) au sein denvironnements distribués basés sur Cloudera.

Vos missions :

Développement & Industrialisation

  • Développer des pipelines de traitement en PySpark.

  • Mettre en place des flux temps réel via Kafka (topics partitions schémas offsets).

  • Modéliser et optimiser les schémas Cassandra (tables clés clustering réplication).

  • Intégrer et transformer des données provenant de multiples sources (APIs BDD streams fichiers).

Qualité Performance & Fiabilité

  • Déployer des mécanismes de Data Quality (contrôles monitoring alerting).

  • Optimiser les traitements Spark (partitioning tuning formats de données).

  • Assurer la supervision et la résolution des incidents en production.

CI/CD & Gouvernance

  • Industrialiser les développements via des chaînes CI/CD (tests automatisés déploiements).

  • Documenter les flux modèles et bonnes pratiques.

  • Contribuer à la gouvernance des données : catalogue traçabilité sécurité.


Qualifications :

 

  • 4 ans dexpérience dans des environnements distribués et des architectures Big Data

  • Spark / PySpark : batch & streaming.

  • Python : scripts librairies data tests automatisés.

  • Kafka : conception de flux producers/consumers partitions.

  • Cassandra : modélisation orientée requêtes optimisation administration.

  • Solide maîtrise de SQL connaissances NoSQL.

  • Connaissance dun outil dorchestration : Airflow Luigi Prefect

  • Bonne compréhension des environnements distribués (Cloudera Hadoop).

  • Compétences en Git CI/CD (GitLab CI).

  • Pratiques DevOps / MLOps appréciées.


Informations supplémentaires :

Pourquoi nous rejoindre

Rejoindre Devoteam cest :

  • Évoluer sur des projets stratégiques autour de la donnée

  • Bénéficier dun accompagnement personnalisé pour le développement de vos compétences et certifications

  • Travailler dans un environnement stimulant collaboratif et bienveillant


Remote Work :

No


Employment Type :

Full-time

Dans le cadre du renforcement des équipes Data nous recherchons des profils capables de concevoir industrialiser et optimiser des plateformes de données (batch & temps réel) au sein denvironnements distribués basés sur Cloudera.Vos missions :Développement & IndustrialisationDévelopper des pipelines ...
اعرض المزيد view more

المهارات المطلوبة

  • Apache Hive
  • S3
  • Hadoop
  • Redshift
  • Spark
  • AWS
  • Apache Pig
  • NoSQL
  • البيانات الضخمة
  • مستودع البيانات
  • Kafka
  • Scala

عن الشركة

Company Logo

Devoteam is a AI-driven tech consulting firm specialised in cloud platforms, cyber, data, and sustainability. Tech native for almost 30 years, Devoteam guides businesses through sustainable digital transformation to deliver value. With over 11,000 tech architects in more than 25 co ... اعرض المزيد

عرض صفحة الشركة عرض صفحة الشركة