DATA ENGINEER JAVA SPARK
Share
Job Location:
Monthly Salary:
Posted on:
15 hours ago
Vacancies:
1 Vacancy
Job Summary
Dans le cadre du développement du DatahubV2 nous recherchons un Data Engineer confirmé maîtrisant les environnements Java Spark et les architectures Data modernes.
Vous interviendrez au sein de léquipe Socle Data et serez responsable de la construction loptimisation et la fiabilisation des pipelines data tout en garantissant les bonnes pratiques de développement et de performance.
Vos missions principales :
- Concevoir développer et optimiser des pipelines de données performants (batch calcul distribué).
- Développer des traitements Spark 3 instanciés sur Kubernetes (Spark as a Service).
- Manipuler les données du DatahubV2 via Starburst (Trino) en SQL.
- Construire et orchestrer des workflows Data sur Astronomer / Apache Airflow en Python.
- Réaliser les intégrations applicatives en Java (et potentiellement Scala selon les applications).
- Assurer la qualité la performance et la fiabilité des jobs Data.
- Contribuer à la mise en place et à la maintenance des pipelines DevOps (Gitlab Jenkins ArgoCD).
- Suivre et analyser les logs applicatifs via ELK (Log as a Service).
- Coopérer avec léquipe Socle Data utiliser et faire évoluer les librairies Python internes.
- Participer à la documentation et à lamélioration continue des pratiques Data du DatahubV2.
Technologies & Compétences requises
Compétences Data / Big Data
- Spark 3 Java ou Scala Avancé
- Traitements distribués performance optimisation exécution sur Kubernetes.
- Starburst (Trino) SQL Moyen
- Requêtage SQL interactif combinaison multi-sources compréhension du SEP.
- Apache Airflow / Astronomer Python Moyen
- Création planification et supervision de DAGs orchestration de workflows.
Compétences Cloud / Infrastructure
- Kubernetes COS (S3) Vault Bas
- Compréhension des environnements cloud de la DMZR.
- Log as a Service (ELK) Moyen
- Dashboarding gestion et analyse des logs.
Compétences DevOps
- Gitlab Jenkins ArgoCD Ansible Go / Yaml Bas
- Gestion et évolution de pipelines CI/CD basés sur des templates existants.
Langages
- Java Moyen
- SQL Moyen
- Python Moyen
- Scala Moyen
Qualifications :
Profil recherché
- Expérience confirmée en tant que Data Engineer sur des environnements distribués et Big Data.
- Très bonne maîtrise de Java et Spark.
- Capacité à travailler dans un environnement cloud containerisé et orienté DevOps.
- Bon niveau en SQL pour manipuler des données multi-sources.
- Autonomie rigueur esprit danalyse sens de la performance.
- Une expérience en contexte bancaire ou datahub est un plus.
Informations supplémentaires :
10 RTT en plus des 27 jours de congés payés
Des avantages groupes : 9/jour sur votre carte Swile une bonne mutuelle prise en charge de 70% de votre abonnement de transports des indemnités kilométriques vélo
Un CSE : subvention sport et loisir chèques vacances chèques cadeaux
De la flexibilité avec 2 jours de télétravail/semaine en moyenne
Remote Work :
No
Employment Type :
Full-time
Key Skills
- Apache Hive
- S3
- Hadoop
- Redshift
- Spark
- AWS
- Apache Pig
- NoSQL
- Big Data
- Data Warehouse
- Kafka
- Scala
About Company
Inetum is a European leader in digital services. Inetums team of 28,000 consultants and specialists strive every day to make a digital impact for businesses, public sector entities and society. Inetums solutions aim at contributing to its clients performance and innovation as well ... View more
