Stage - Data Scientist GenAI F/H/N

Le sujet du stage : Amlioration de pipelines danalyse de verbatims bass sur des LLM : robustesse adaptation et industrialisation

Optimisation dune chane agentique NLP pour lanalyse de feedback client : personnalisation contrle de la gnration et valuation des performances

Le Why du stage : 

Une pipeline danalyse automatique de verbatims a t dveloppe en sappuyant sur une chane de prompts orchestrant des modles de langage (LLM). Cette chane comprend quatre tapes principales : analyse de sentiment classification thmatique gnration dinterprtations et formulation de recommandations.

Toutefois ce type dapproche soulve aujourdhui plusieurs verrous qui limitent son industrialisation et sa capacit de gnralisation. Les performances du systme restent trs dpendantes de la qualit des prompts et du calibrage spcifique chaque jeu de donnes.

En labsence de mcanismes de contrle fin les modles peuvent produire des sorties incohrentes non fiables ou sensibles des variations minimes dans les entres ce qui complique la reproductibilit et linterprtabilit des rsultats. Par ailleurs le comportement non dterministe des LLM combin lempilement dtapes agentiques rend difficile lanalyse derreurs et loptimisation systmatique du pipeline.

Ces limites constituent des freins majeurs la portabilit du systme vers de nouveaux cas dusage mtier chaque contexte client imposant des contraintes spcifiques en termes de langage dobjectifs analytiques de granularit smantique ou de structure de donnes.

Le stage visera rpondre ces problmatiques en travaillant sur lamlioration de la performance de la stabilit et du dterminisme du pipeline. Lobjectif sera de proposer des mthodes de pilotage plus robustes (valuation rglage automatique alignement) permettant une adaptation rapide et fiable de nouveaux jeux de donnes tout en respectant les exigences mtiers propres chaque client.

Les missions du stage :

• tude dun cas client et cadrage fonctionnel du besoin
• Analyser les verbatims collects dans un contexte mtier donn (ex. : relation client RH marketing etc.).
• Identifier les spcificits linguistiques thmatiques et stratgiques du cas dusage.
• Dfinir des objectifs analytiques prcis (ex. : typologie dinsatisfactions intentions daction besoins implicites).
• Adaptation et personnalisation de la chane agentique base sur LLM
• Concevoir ou ajuster les prompts pour les tapes de sentiment analysis classification thmatique gnration dinterprtations et recommandations.
• Implmenter des mcanismes de conditionnement du comportement des LLM (ex. : few-shot learning chanes de pense techniques de prompt engineering avanc).
• Intgrer des contraintes client (vocabulaire ton type de recommandations etc.) dans les tapes de gnration.
• Amlioration de la robustesse de la fiabilit et du monitoring
• Proposer des indicateurs de performance adapts aux diffrents niveaux de sortie (prcision cohrence stabilit inter-runs pertinence mtier).
• tudier la reproductibilit des rsultats en identifiant les points de non-dterminisme et en proposant des stratgies de contrle (temprature seed dtection dhallucinations).
• valuation comparative et gnralisation
• Dvelopper des mthodes dvaluation qualitatives et quantitatives des rsultats (incluant de lvaluation humaine si ncessaire).
• Comparer diffrentes variantes de la chane pour identifier les meilleurs compromis entre performance cot et stabilit.

Le droulement du stage :

Etape 1 : Se familiariser avec la pipeline existante danalyse de verbatims (sentiment classification interprtation recommandations) et comprendre ses limites actuelles.

Etape 2 : tudier les besoins spcifiques dun cas client analyser les verbatims fournis et identifier les adaptations ncessaires au niveau des tags des prompts ou des recommandations.

Etape 3 : Explorer diffrentes approches de personnalisation incluant la gnration de prompts adapts lajustement des critres de classification ou lutilisation de donnes client comme contexte (fine-tuning de modles par exemple) dveloppement dun brique dvaluation et de monitoring applicatif de la solution.

Qualifications :

OCTO Wanted

• Nous recherchons une tudiante en dernire anne dcole dingnieur ou de master universitaire avec une spcialisation en informatique intelligence artificielle ou data science.
• Comptences et qualits attendues : Bonne matrise de Python et des outils dinteraction avec des modles de langage (LLMs) via des APIs comme OpenAI Hugging Face ou Ollama.
• Capacit comprendre et traiter des donnes textuelles concevoir des exprimentations rigoureuses et valuer la qualit des rsultats.
• Esprit structur capable darticuler les enjeux techniques avec les besoins mtier.
• Sens produit : capacit penser en termes dusage final de robustesse de pertinence mtier et de performance relle.
• Intrt pour les applications concrtes de lIA en entreprise notamment dans le domaine de lanalyse de feedback client.

Informations supplmentaires :

OCTO Rewards

Et parce que nous savons quun stage nest pas juste un stage on vous partage aussi quelques petits qui font notre diffrence :

• 6 participations 6 podiums au palmars Great Place To Work le bien-tre et la progression des Octos est vraiment au cur de nos proccupations et nous venons de renouveler notre certification pour la 7e fois cette anne ! 

• There is always a better way : nous encourageons et soutenons linnovation par la R&D. Au-del dune direction Scientifique ddie nous valorisons le temps hors mission pour partager ses connaissances : blog OCTO talks meet-up livre blanc BBL en bref de lopen source aliment par tous les Octos ; 

• Parce que ce ne sont pas que des mots nous marquons au quotidien notre engagement en matire de numrique responsable : depuis 2021 OCTO est Certifi BCorp. Nous formons les Octos et nos clients la fresque du climat et uvrons pour la sobrit numrique en interne et auprs de nos clients ; 

• Le management est un point central de notre culture. Les Octos tuteurs sont forms pour vous accompagner dans le dveloppement de vos comptences ;

• Parce quon na jamais fini dapprendre vous pourrez tirer parti de nos formations apprendre avec des OCTOs plus expriments et faire parti dun collectif de passionns ! 

• Signataire en 2023 de la charte de la diversit et de laccord Handicap et depuis 2022 de la Charte de lAutre Cercle concernant linclusion des personnes LGBTQI en entreprise.

Sans oublier les fondamentaux :

• Matriel au choix : ordinateur (PC ou Mac) ;

• Tltravail ;

• Et bien sr : carte Swile absences autorises payes CSE

OCTO priority 

Collaborer avec des personnes talentueuses issues de diffrents horizons. Aussi ce que nous cherchons avant tout ce sont des personnalits qui enrichiront OCTO. 

En respectant lgalit des chances les candidatures sont examines sans aucun prjug quant lge lethnie lidentit de genre lexpression de genre le handicap la nationalit la religion ou lorientation sexuelle.

Remote Work :

Yes

Employment Type :

Full-time