Consultant.e.s - Stage de fin d'études - Nantes - CIO - IA responsable : quels KPI et outils pour suivre et implémenter explicabilité, biais, censure ?

Au sein du bureau de Nantes, vous intervenez aux côtés de 150 consultant·e·s sur des missions variées qui accompagnent nos clients, vous permettant de développer vos compétences ainsi que votre connaissance des expertises du cabinet.   

Nos consultant.e.s interviennent au sein d'entreprises de référence implantées dans toute la région Grand Ouest, et accompagnent en proximité nos clients dans leurs transformations digitales et leurs décisions stratégiques. 

Le bureau de Nantes adresse une grande majorité des savoir-faire du cabinet Wavestone, et offre l’opportunité d’intervenir sur des missions variées et à forte valeur ajoutée, du cadrage stratégique à la réalisation du projet. 

Nous intervenons en particulier sur les domaines de compétences suivants répartis en communautés :    

• Cybersécurité : stratégie et conformité Cybersécurité (risque, gestion de crise, vie privée, infrastructures critiques, réglementations), sécurisation de la transformation digitale (big data, cloud, IoT, SOC, IT Security), identité numérique et services de confiance (IAM, CIAM, PAM, PKI, MFA, fédération d'identités), audit, tests d'intrusion et réponse aux incidents (pentest, audit PASSI, redteam, forensics, gestion de crise)   

• Transformation de l'IT-CIO : business transformation (open architecture), industrial IoT (embedded system, IoT platforms), data (gouvernance de données, data analytics, plateformes nouvelle génération), Next GenIT (cloud, devops, automation, container, serverless, laC), Next GenIT (smart networks, telecoms), digital workplace (New Waysof Working, change, employee experience, workplace, communication), business transformation (UX, design thinking), industrial IoT (LoRa, Sigfox, lpwan), transformations organisationnelles et managériales, transformation agile, conduite du changement….   

• Transformation durable (environnementale et sociale) des organisations – Sustainability – STB : Numérique Responsable (sensibilisation, rédaction de politiques, gestion de l’obsolescence...), accompagnement à la transition écologique et sociétale, décarbonisation (Bilan Carbone et plan de transition), performance durable (gouvernance et stratégie RSE, conformité et reporting ESG), adaptation au changement climatique, inclusivité...  

Sujet de stage :  

Contexte :

Avec l'essor des modèles de langage de type LLM (GPT, Claude, Mistral…), les chatbots basés sur l’IA générative sont de plus en plus intégrés dans des solutions métiers : assistants RH, services client, FAQ juridiques, interfaces de diagnostic, copilotes internes, etc. 

Ces agents conversationnels génératifs présentent cependant un risque accru de biais : leurs réponses peuvent reproduire ou amplifier des stéréotypes, manquer d'équité dans les formulations, ou désavantager certains groupes d’utilisateurs. 
Contrairement aux systèmes de classification classiques, les biais dans un chatbot peuvent être subtils, contextuels, linguistiques ou culturels, et donc plus difficiles à détecter avec les méthodes traditionnelles. 

Dans ce contexte, Wavestone souhaite structurer une expertise spécifique autour des biais conversationnels liés à l’IAG, afin d’accompagner ses clients dans la conception de chatbots responsables, sûrs et inclusifs. 

Objectif du stage :

L’objectif du stage est d’identifier et d’analyser les biais spécifiques aux chatbots à base d’IA générative, ainsi que les KPI permettant aux décideurs d’estimer et de suivre le niveau de biais de leurs agents conversationnels. Le/la stagiaire étudiera également les outils et bonnes pratiques permettant de limiter ces biais tout au long du cycle de vie du chatbot, et proposera des recommandations concrètes pour concevoir des agents plus équitables, fiables et conformes aux exigences éthiques et réglementaires. 

Travaux à réaliser :

Sous la tutelle d’un(e) consultant(e) et le pilotage d’un(e) manager, le ou la stagiaire pourra être amené(e) à réaliser une partie ou la totalité des travaux suivants : 

• Définir les principaux types de biais conversationnels dans les chatbots IAG (biais de genre, culturels, socio-économiques, linguistiques, etc.) ; 

• Identifier des exemples concrets de biais observés dans des produits existants ou issus de la littérature scientifique ; 

• Étudier les KPI d’évaluation du biais conversationnel : diversité des réponses, respect de critères d’équité, réponses stéréotypées, tonalité, etc. ; 

• Benchmarker les outils de détection de biais pour les modèles de langage (ex. : IBM AI Fairness 360, PromptEval, etc.) ; 

• Cartographier les techniques de réduction ou de maîtrise des biais dans le développement de chatbots IAG : fine-tuning, filtrage de prompts, réinjection de règles, RLHF, modération post-génération… ; 

• Proposer une démarche de détection et correction des biais à intégrer dans le cycle de vie d’un chatbot IA (data → modèle → prompt → réponse → supervision) ; 

• Formaliser un guide de bonnes pratiques et un outil d’aide à la décision pour les équipes projet et les décideurs. 

Les livrables de ce stage contribueront à construire une offre d'accompagnement Wavestone sur la gouvernance éthique des chatbots et pourront servir de base à des missions dans les secteurs réglementés (RH, banque, assurance, secteur public).