Consultant.e Senior Test et Recette Agent IA HF

Dans le cadre dun projet stratégique notre client développe une application destinée à ses équipes métiers.  Lapplication intégrera 10 à 15 agents IA pour enrichir les usages : préparation automatique de rendez-vous comptes rendus planification Q&A sur les procédures et produits rédaction demails etc. Des prototypes IA existent déjà et doivent désormais être industrialisés.

Nous recherchons un.e Consultant.e QA IA Senior capable de prendre en autonomie la responsabilité de la recette du projet en lien étroit avec les Product Owners développeurs équipes IA/Data et métiers.

Vos missions :  

• Définir la stratégie de tests globale du projet.

• Construire la stratégie spécifique dévaluation et de recette des agents IA.

• Rédiger les scénarios et cas de tests.

• Réaliser les tests des IHM API et agents IA.

• Tester notamment la pertinence et la robustesse des réponses IA : cohérence hallucinations reproductibilité performance cas limites

• Créer ou compléter les jeux de données de test nécessaires.

• Identifier documenter et suivre les anomalies.

• Piloter et coordonner la recette métier.

• Travailler quotidiennement avec les équipes PO DEV IA Data et métiers.

Qualifications :

Vos atouts pour nous rejoindre :

• Solide expérience en QA / recette fonctionnelle et technique.

• Expérience significative sur les tests API.

• Maîtrise de JIRA / Xray.

• Capable de construire une stratégie de tests de bout en bout.

• À laise dans un environnement Agile avec de nombreux interlocuteurs.

• Capable de challenger les équipes et de structurer la recette.

Une expérience concrète de recette / évaluation de solutions GenAI LLM ou agents IA est obligatoire.
Nous privilégierons les profils ayant déjà travaillé sur des sujets tels que :

• définition de critères dévaluation de réponses LLM ;

• hallucinations et pertinence des réponses ;

• tests de RAG / agents IA ;

• jeux de données / golden datasets ;

• robustesse et cas limites ;

• comparaison et qualification des réponses IA.

Environnement technique :

• Front : ReactJS

• Back : Java

• API

• Test management / anomalies : JIRA Xray

• Tests API : Bruno

• Outils de tests automatisés déjà présents

• Technologies IA / LLM : les technologies sont en cours de décision

Informations supplémentaires :

Pourquoi nous rejoindre   

Nous sommes une AI-Driven Company partenaire des plus grands partenaires technologiques (Google AWS Microsoft ServiceNow) et composée dun important collectif dexperts (50 tribus dexpertise). 

Avec 75% de nos collaborateurs certifiés dont 100 % sur la GenAI Devoteam simpose comme une Learning Company où lapprentissage continu est au cœur de notre ADN.

Comment se déroule le processus de recrutement chez Devoteam

 Il comporte 2 à 3 entretiens :

- Talent Acquisition Interview : lobjectif est de faire le point sur vos compétences votre niveau danglais et de valider vos éléments de motivation
- Tech & Business Interview : cet entretien vise à approfondir vos compétences techniques et à vérifier leur adéquation avec nos besoins lors dun échange avec un expert métier
- Leadership Interview : il permet dévaluer votre potentiel vos ambitions et denvisager votre évolution au sein de Devoteam.

Nous privilégions au moins un entretien en présentiel. Une prise de référence est demandée et selon votre profil des tests (techniques anglais personnalité...) peuvent vous être adressés.
Si votre candidature est retenue nous vous faisons parvenir une proposition présentant les conditions dembauche. En cas dacceptation le contrat de travail est formalisé.

Le Groupe Devoteam oeuvre pour légalité des chances pour la promotion de ses collaboratrices et de ses collaborateurs au mérite et lutte activement contre toute forme de discrimination. Nous sommes convaincus que la diversité contribue à la créativité au dynamisme et à lexcellence de notre organisation. Chaque candidature est donc considérée indépendamment de tout critère discriminatoire.

Remote Work :

No

Employment Type :

Full-time