Data Engineer Sciences RAG NLP LLM

Contexte de la mission

Dans le cadre de projets innovants liés à lIntelligence Artificielle et au traitement des données vous interviendrez en tant que Développeur Data Science / NLP / RAG / LLM. Votre mission consistera à concevoir développer et déployer des solutions avancées en traitement du langage naturel (NLP) Retrieval-Augmented Generation (RAG) et Large Language Models (LLM).

Vous serez impliqué dans des projets variés tels que :

• Le développement de pipelines de données pour alimenter des modèles dIA.
• La conception de systèmes RAG pour améliorer la précision des réponses générées par lIA.
• Lintégration et loptimisation de LLM pour des applications métiers (chatbots analyse de texte génération de contenu etc.).
• La collaboration avec des équipes pluridisciplinaires (Data Engineers DevOps experts métiers).

Missions principales

1. Développement de pipelines de données et dinfrastructures IA

   • Concevoir et maintenir des pipelines ETL/ELT pour collecter nettoyer et transformer des données.
   • Automatiser les processus de traitement de données à grande échelle.
   • Optimiser les performances des pipelines (vitesse scalabilité fiabilité).

2. Modélisation et traitement du langage naturel (NLP)

   • Développer des modèles de NLP pour des tâches spécifiques (classification extraction dentités traduction automatique etc.).
   • Fine-tuner des modèles de langage pré-entraînés (BERT T5 etc.).
   • Évaluer et améliorer la qualité des modèles NLP.

3. Conception et optimisation de systèmes RAG

   • Implémenter des architectures Retrieval-Augmented Generation pour enrichir les réponses des LLM avec des données externes.
   • Intégrer des bases de connaissances vectorielles (Pinecone Weaviate FAISS).
   • Optimiser la pertinence et la rapidité des systèmes RAG.

4. Intégration et déploiement de LLM

   • Déployer et optimiser des Large Language Models (LLM) pour des applications métiers.
   • Adapter les LLM à des cas dusage spécifiques (chatbots génération de texte analyse de sentiments etc.).
   • Travailler sur lefficacité énergétique et la scalabilité des modèles.

5. Collaboration et industrialisation

   • Collaborer avec les équipes DevOps pour déployer les solutions en production (Docker Kubernetes CI/CD).
   • Participer à la mise en place de tests automatisés pour valider les performances des modèles.
   • Documenter les processus les architectures et les résultats.

6. Veille technologique et innovation

   • Suivre les avancées en NLP RAG et LLM (recherches académiques nouvelles bibliothèques etc.).
   • Proposer des solutions innovantes pour améliorer les systèmes existants.
   • Participer à des ateliers ou formations pour monter en compétences.

Environnement & méthodologies

• Langages et frameworks :
  • Python (obligatoire) TensorFlow PyTorch Hugging Face (Transformers) LangChain LlamaIndex.
  • Bibliothèques NLP : NLTK spaCy scikit-learn.
• Outils :
  • Data Engineering : Apache Spark Apache Airflow Kafka.
  • DevOps/MLOps : Docker Kubernetes Git CI/CD MLflow.
  • Bases de données : SQL (PostgreSQL MySQL) NoSQL (MongoDB) bases vectorielles (Pinecone Weaviate FAISS).
• Cloud : AWS (SageMaker Bedrock) Azure (OpenAI Cognitive Services) GCP (Vertex AI).
• Méthodologies : Agile (Scrum Kanban) MLOps DevOps.

Qualifications :

Profil recherché

• Formation : Bac5 en informatique ou école dingénieur.
• Expérience : 2 à 5 ans en développement Python avec une spécialisation en Data Science NLP RAG ou LLM (projets concrets requis).
• Compétences techniques :
  • Maîtrise de Python et des bibliothèques associées (TensorFlow PyTorch Hugging Face LangChain LlamaIndex).
  • Expérience en NLP (traitement de texte fine-tuning de modèles).
  • Connaissance des architectures RAG et des outils associés (bases vectorielles recherche sémantique).
  • Expérience avec les LLM (déploiement optimisation évaluation).
  • Connaissance des outils Data Engineering (Spark Airflow) et des bonnes pratiques DevOps/MLOps.
  • Expérience avec les environnements cloud (AWS Azure GCP).

Remote Work :

No

Employment Type :

Full-time