Le 17 juin 2024, Julien Perez, chercheur associé à l’EPITA, a fait une présentation de l’application de l’intelligence artificielle à l’analyse des grands corpus de textes en histoire devant un public de chercheurs en Sciences Humaines et Sociales et de bibliothécaires. Cette intervention a mis en lumière les avancées récentes et les défis liés au traitement automatique du langage naturel, aussi appelé NLP (Natural Language Processing).

Transformers, self attention, LLMs

Julien Perez a commencé son exposé par une rétrospective de l’évolution des modèles de traitement du langage naturel (NLP), en mettant particulièrement l’accent sur les grands modèles de langage (LLMs). Il a expliqué comment ces modèles, initialement développés pour la traduction, ont évolué vers les modèles généraux que nous connaissons désormais tous, depuis la sortie de GPT sous forme d’agent conversationnel gratuit, ChatGPT. Le principe de base de ces LLMs est la prédiction de mots et de sous-mots – les tokens – sur la base d’un input en langage naturel. Julien Perez a particulièrement insisté sur le rôle qu’a eu le développement de l’architecture des transformers dans l’efficacité des LLMs. Dans un transformer, les tokens d’entrée sont encodés, et la position de chaque mot est aussi encodée pour permettre une véritable prise en compte du contexte de chaque token grâce à ce qu’on appelle un mécanisme d’attention (attention mecanism). Le décodeur, entraîné sur un très grand corpus de textes humains, dont le contenu a été emmagasiné par le modèle, peut ainsi prédire les tokens qui vont suivre l’input.

Retrieval Augmented Generation (RAG)

En revanche, bien que les LLMs emmagasinent dans leurs paramètres l’information contenue dans leurs corpus d’entraînement, ils peinent à sourcer cette information. C’est là qu’interviennent les modèles de génération augmentée (Retrieval Augmented Generation – RAG). Cette technique de traitement du langage permet à la fois de générer une réponse à une requête en langage naturel et de récupérer les documents afférents sur le web. Par exemple, Perplexity est un RAG, ce chatbot mêle les performances d’un moteur de recherche à celle d’un LLM.

Application aux recherches historiques

C’est cette technologie que comptent utiliser Julien Perez et Marie Puren, responsable de l’équipe Méthodes numériques en Sciences Humaines et Sociales du laboratoire LRE à EPITA, pour rendre explorable le corpus des débats parlementaires de la 3ème République. L’objectif est de créer un système de questions-réponses et de vérification de faits à partir du contenu de ces débats. Une première version du corpus sera diffusée fin de 2024.

Conclusion

Pour Julien Perez, les grands corpus historiques de documents formalisés comme celui des débats parlementaires de la 3ème République sont des terrains de jeux pour la recherche en NLP. Le travail entre chercheurs en Sciences Humaines et Sociales et chercheurs en informatique ouvre de nouvelles perspectives pour les deux disciplines, l’une fournissant un corpus et l’autre de nouveaux outils heuristiques.
En résumé, cette rencontre a permis de mieux comprendre le potentiel et les limites de l’IA dans le traitement des textes historiques, tout en soulignant l’importance d’une collaboration interdisciplinaire pour maximiser les bénéfices de ces avancées technologiques.