Atelier de test | IA générative et Gallica : interaction avec un LLM pour la clarification des requêtes usagers

Le Sorbonne Center for Artificial Intelligence (SCAI) et la BnF financent en partenariat un projet autour de la découvrabilité des collections numérisées. Ce projet a donné lieu, le 9 décembre 2024, au test d’un premier prototype d’outil de désambiguïsation des requêtes dans Gallica. L’organisation du test a été réalisée en collaboration avec la Cellule IA et la DSG (Délégation à la stratégie et à la recherche) côté BnF et le laboratoire ISIR  (Institut des Systèmes Intelligents et de la Robotique) côté SCAI.

Anfu Tang, post-doctorant au laboratoire ISIR a développé le prototype testé par neuf agents travaillant dans des services pilotant ou utilisant Gallica (Département des Systèmes d’information, Département de la Coopération, Département de la Découverte des collections et de l’accompagnement à la recherche).

L’expérimentation a également fait l’objet d’une observation des usages in situ par Gaëtane Perrault, Florence Perret et Floriane Zaslavsky (DSG).

Objectif du projet

À l’ère des IA génératives, proposer aux utilisateurs d’engager le dialogue avec un LLM semble opportun. Pour autant, l’observation des pratiques montre que ces derniers sont enclins à exprimer leur demande avec une certaine économie de mots. Le prototype développé n’est donc pas un agent conversationnel (ou chatbot) au sens commun du terme, mais un modèle entraîné à clarifier des requêtes, en s’appuyant sur les trois principaux types d’ambiguïtés présents dans les logs d’usage de Gallica : sémantique (différents registres d’homonymie), de spécification (la requête a un objectif clair mais peut correspondre à un champ de recherche trop large) et de généralisation (la requête se concentre sur des informations spécifiques ; cependant, en l’élargissant, il serait possible de mieux capturer les véritables besoins de l’utilisateur).

Protocole de test

Pour tester le prototype, l’atelier s’est déroulé en trois phases : présentation du projet et du protocole de test, réalisation du test par le groupe, retours des testeurs et échange autour de leur expérience. Le protocole de test comprenait une interface spécifiquement dédiée à cette tâche, et était divisé en trois sessions d’un quart d’heure pour chaque mode de clarification, avec pour chacun un temps d’explication : Sélection, Question-Réponse, Sélection + Question-Réponse.

Le premier mode répond à une requête en affichant cinq propositions de clarification, que les testeurs peuvent choisir d’exclure ou d’accepter. L’offre de propositions peut également être annotée selon des critères de redondance, de pertinence et de complétude.

Le deuxième mode, Question-Réponse, affiche une seule proposition, visant à affiner la clarté au fur et à mesure des échanges avec les utilisateurs. Le dernier mode est un mélange des deux précédent, dans la mesure où il débute par des propositions et se poursuit avec un échange par question/réponse.

Interface du prototype : les trois modes de clarification

Dans les trois modes, la conversation s’arrête si le testeur décide qu’une réponse satisfaisant sa demande est proposée, s’il veut recommencer ou abandonner la conversation.

Les données recueillies dans le cadre de l’atelier permettront d’évaluer la pertinence de l’approche adoptée, c’est-à-dire de vérifier l’intérêt de l’usage du LLM pour désambiguïser, la manière de désambiguïser privilégiée par les testeurs, ainsi que d’évaluer la pertinence du prototype en se projetant vers un usage réel dans Gallica. Des discussions intéressantes quant aux modalités d’intégration d’un tel service dans Gallica ont émergé lors du temps de partage de l’expérimentation par les testeurs.

Le projet à moyen terme

D’autres tests internes et publics sont envisagés en début d’année 2025 pour tester le prototype à plus grande échelle, avec une plus grande diversité d’utilisateurs, en vue d’une implémentation effective dans Gallica à moyen terme.

L’équipe du projet

Équipe BnF :

Jean-Philippe Moreux, chef de mission IA, DSR

Gaëtane Perrault, responsable innovation et accompagnatrice des transformations, DSG

Florence Perret, responsable de la valorisation et des données de la recherche, DSG

Elise Soenen, stagiaire master 1, IDMC, Université de Lorraine

Floriane Zaslavsky, chargée de projet publics et usages, DSG

Équipe SCAI :

Vincent Guigue, professeur, AgroParisTech (Université Paris Saclay)

Laure Soulier, maître de conférence HDR, laboratoire ISIR (Sorbonne Université)

Anfu Tang, chercheur postdoctorant, laboratoire ISIR (Sorbonne Université)

---

---