Archives par mot-clé : Intelligence artificielle

4000 cartes par jour : des réseaux de neurones artificiels pour récupérer les géodonnées du passé

La BnF accueille des chercheurs qui conduisent un travail au plus près de ses collections. Rémi Petitpierre, mastérant de l’École polytechnique fédérale (EPFL) a été accueilli au département des Cartes et plans, pour son projet sur la vectorisation automatique des cartes 1.


Imaginons une intelligence artificielle capable de récupérer des siècles d’histoire urbaine. Imaginons des politiques informées par des millions de cartes historiques. Imaginons une promenade dans l’Exposition universelle de 1889, dans la Rome de Nolli, dans l’Inde coloniale. Imaginons l’apparition de mondes miroirs, reflets numériques tangibles basés sur les big datas du passé. Ces mondes, qui pourraient être peuplés artificiellement par nos aïeuls prendraient place dans un univers 4D, à travers l’espace et le temps.

Récemment, la Bibliothèque nationale de France et le laboratoire d’Humanités digitales de l’Ecole Polytechnique Fédérale de Lausanne (EPFL) ont franchi un premier pas dans cette direction en développant une technologie basée sur les réseaux de neurones convolutifs, complexes entrelacs de fonctions mathématiques dont le fonctionnement s’approche du cortex visuel humain. Ce projet expérimental a permis d’établir un moteur de recherche spatio-temporel, baptisé Jadis, basé sur près de 350 cartes de Paris issues des collections de la BnF.

À la base de ce projet, les collections cartographiques numérisées de la BnF. Grâce à la numérisation, l’objet carte est enregistré sous la forme de pixels. Pour autant, pour l’ordinateur, l’image virtuelle de la carte n’a aucun sens. Seules ses qualités visuelles existent numériquement, mais les informations géographiques s’effacent. Malgré sa numérisation, la carte, si riche en informations, n’est réduite qu’à une photographie, un objet d’art. La technologie implémentée à la BnF, appelée segmentation sémantique, révolutionne ce paradigme. Le réseau de neurones artificiels identifie en effet les objets géométriques de la carte, comme les rues, les îlots, les cours d’eau et leur attribue une classe ou un label. L’assemblage hétéroclite qui, selon les cartes, se retrouve représenté par des ondelettes noires, des hachures bleues ou un blanc homogène peut désormais être identifié par l’ordinateur comme la Seine. En définitive, cette segmentation sémantique permet de rendre la carte numériquement intelligible avec une exactitude étonnante. Sur près de 1500 cartes parisiennes des collections de la BnF et de la Bibliothèque historique de la Ville de Paris (BHVP), plus de 96% des pixels sont classés correctement, lorsque l’on cherche à identifier les rues et les îlots urbains.

Aucune magie n’est à l’œuvre pourtant. Les réseaux de neurones convolutifs ne sont en effet intuitivement qu’une suite de filtres qui, comme ceux que l’on utilise quotidiennement sur nos photos ou sur Instagram, accentuent certaines qualités visuelles ou certaines couleurs de l’image. La différence principale réside dans le fait que ces filtres et les poids correspondants sont optimisés automatiquement au terme d’une phase d’entraînement du réseau. Durant son apprentissage, une succession d’exemples d’entraînement composés d’une image (question) et d’un label (réponse) sont soumis au réseau. En fonction de la prédiction obtenue, les poids du réseau sont réajustés pour optimiser la performance, dans un processus de rétro-propagation. L’efficacité de cet apprentissage est capitale pour déterminer l’applicabilité de la technologie dans des cas concrets, au-delà du contexte théorique. Pour certains problèmes, l’entraînement requière plusieurs millions d’exemples et le temps d’apprentissage se compte en mois. Dans le cas présent cependant, une solution technologique pratique a pu être développée. Un processus de pré-entraînement dans lequel un réseau spécialiste, par exemple déjà entraîné sur Paris, est transformé en un réseau générique en lui présentant des exemples plus variés issus de villes du monde entier a été implémenté. Grâce à cela et à d’autres améliorations, le nombre d’exemples d’apprentissage a été considérablement réduit, à seulement 120 exemples. L’apprentissage, qui ne doit être effectué qu’une seule fois, dure moins de 1h40. Le passage d’un réseau générique à un réseau spécialiste mais plus précis est aussi possible directement, par exemple pour développer un réseau spécialiste des cadastres napoléoniens.

Fonctionnement du réseau de neurones

Dans de nombreux cas cependant, cela n’est pas nécessaire. En effet, plus encore que le résultat et l’efficacité, c’est la généricité de la technologie qui surprend. Les réseaux de neurones sont en effet capables de dépasser les représentations visuelles de base, comme la couleur et la texture, sans les écarter et d’implémenter des stratégies complexes, basées sur la morphologie, la topologie et la hiérarchisation sémantique. Ces mécanismes uniques expliquent la suprématie de ces technologies et surtout leur très grande flexibilité représentationnelle. Un réseau de neurones peut ainsi identifier un même objet, représenté de manière très différente dans un ensemble hétérogène de cartes. Semblablement, il est aussi possible de différencier des objets sans distinction figurative grâce à leur contexte. Et ces performances savent aussi s’affranchir des biais occidentaux. En étendant les essais à 256 cartes historiques représentant quelques 182 villes différentes dans 90 pays du monde, l’exactitude des résultats reste pratiquement inchangée, malgré la grande diversité des figurations et des formes urbaines. Ainsi, les rues historiques de Marseille, Rome, Tokyo ou encore Calcutta ont pu être extraites automatiquement, sans aucune intervention humaine. Sur une carte graphique récente –ce composant de votre ordinateur qui vous permet également de jouer aux jeux vidéos–la technologie permet de traiter en moyenne une carte toutes les 20 secondes, soit plus de 4000 par jour !

Segmentation sémantique du Nouveau Plan de la Rome Moderne, par Nolli et Ruga, 1818. En blanc le réseau viaire, en rouge le contenu cartographique autre, en gris le cadre de la carte. Nolli, Giovanni Battista, et Pietro Ruga, ‘Nuova Pianta Di Roma Moderna’ (Rome, Italie: Publicata a spese di Venanzio Monaldini, 1818).

Ces géodonnées sémantisées représentent une inestimable source d’informations sur l’histoire urbaine des villes qui pourraient, à l’avenir, nourrir des simulations d’urbanisation, résoudre des problèmes de mobilité, informer architectes et urbanistes sur le passé d’un quartier et évidemment contribuer significativement à la création de mondes miroirs 4D pour l’éducation, les musées, l’industrie cinématographique et les jeux vidéos. Alors que la population converge vers les villes-monde, nous manquons toujours d’outils scientifiques permettant de simuler l’impact des politiques publiques. De tels modèles pourraient, à terme, être nourris par l’évolution de milliers de cités pendant des siècles.

La sémantisation des cartes les rend également plus facilement cherchables et manipulables numériquement. Plus de 300 cartes de Paris ont ainsi pu être réalignées automatiquement sur des coordonnées géographiques actuelles, sans intervention manuelle. Grâce aux ilots extraits, la morphologie du tissu urbain peut en effet être appariée d’une carte à l’autre et avec les géodonnées actuelles avec une grande précision. Les déformations naturelles de la carte, dues à l’usure, à l’humidité ou à un entoilage, ainsi que les déformations d’origine dues à des imprécisions de relevés ou aux choix artistiques des cartographes de l’époque peuvent également être corrigées automatiquement en se basant sur un référentiel contemporain.

Ce processus de traitement des cartes représente un saut qualitatif en matière d’interopérabilité des données patrimoniales. À terme, cette technologie devrait en effet permettre de tisser des liens entre des sources historiques jusqu’ici disjointes : plans cadastraux, registres fonciers, minutes notariales ou archives paroissiales. Un projet pilote d’intégration complète des données est notamment en cours sur le cas de Lausanne. D’ici quelques années, il devrait donc être possible de lancer une recherche historique sur internet en sélectionnant un immeuble et de connaître toutes les attributions antérieures du bâtiment. Il sera possible de découvrir les déménagements de vos ancêtres sur 10 générations et d’explorer leur réseau social aussi simplement que sur facebook. Les ingénieurs pourront visualiser les réseaux souterrains oubliés pour installer la fibre plus rapidement. Les architectes pourront économiser des mégalitres de béton en exploitant des fondations pré-existantes. Les historiens pourront conquérir le passé.

Et l’essor des humanités digitales ne fait que commencer.

Pour aller plus loin

  • Petitpierre, Rémi, ‘Neural Networks for Semantic Segmentation of Historical City Maps: Cross-Cultural Performance and the Impact of Figurative Diversity’ (EPFL, Lausanne, 2020)  <dx.doi.org/10.13140/RG.2.2.10973.64484>.
  • JADIS Paris <bnf-jadis.github.io>
  • Kaplan, Frederic, et Isabella di Lenardo, ‘The Advent of the 4D Mirror World’, Urban Planning, 5.2 (2020), 307–10 <doi.org/10.17645/up.v5i2.3133>.
  • Long, Jonathan, Evan Shelhamer, et Trevor Darrell, ‘Fully Convolutional Networks for Semantic Segmentation’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, p. 3431–40 <arxiv.org/abs/1411.4038>.
  1. Voir son mémoire qui a obtenu la meilleure note attribuable par l’École, Neural networks for semantic segmentation of historical city maps: Cross-cultural performance and the impact of figurative diversity, Lien DOI: 10.13140/RG.2.2.10973.64484. []

Petitpierre Rémi

Ingénieur de l'Ecole polytechnique fédérale de Lausanne (EPFL) en Humanités digitales travaillant actuellement sur le projet Lausanne Time Machine.

More Posts - Website

Follow Me:
TwitterLinkedIn

Penser, classer, modéliser. L’exemple du projet Foucault Fiches de Lecture

Dans le cadre du projet CORPUS, inscrit au plan quadriennal de la recherche 2016-2019 de la Bibliothèque nationale de France, l’atelier intitulé « Penser, classer, modéliser. L’exemple du projet Foucault Fiches de Lecture » a eu lieu le 13 novembre après-midi sur le site François-Mitterrand. Organisé dans une logique de partage d’expertise, il avait pour objectif de mener, à partir de l’exemple concret du projet Foucault Fiches de Lecture, une réflexion autour des problématiques liées à la modélisation et à l’enrichissement de données et, de manière plus générale, sur ce que les outils numériques peuvent apporter au travail de recherche sur un corpus d’archives.

Le projet Foucault Fiches de Lecture (FFL) est un projet ANR d’une durée de trois ans qui a pour objectif de numériser, mettre en ligne, indexer, décrire et enrichir les notes de lecture manuscrites de Michel Foucault, en utilisant une plate-forme numérique de travail collaboratif.

Fruit du partenariat entre PSL et l’ENS Lyon, le projet FFL, en fédérant des équipes de différents laboratoires de recherche (ArchiNum, Triangle, CAPHÉS et ITEM), repose sur une collaboration étroite entre chercheurs en sciences humaines et sociales et ingénieurs de recherche.

Suite au lancement de la numérisation par la BnF des fiches de lecture (fonds NAF 28740 acquis par le département des manuscrits de la BnF en 2013), aujourd’hui, à la fin de la première année du projet, un prototype de plate-forme développé par l’équipe d’ingénieurs offre aux chercheurs plusieurs fonctionnalités et ouvre de nouvelles perspectives de recherche. Elle permet d’abord de consulter les feuillets numérisés : actuellement environ 5 700 sur les 14 000 à numériser dans le cadre du projet et sur les 20 000 fiches présentes dans le fonds conservé à la BnF. Elle donne aussi la possibilité aux chercheurs de décrire et d’annoter ces fiches : chaque utilisateur peut à la fois produire des métadonnées mutualisées et enregistrer des annotations privées.


Prototype de la plate-forme Foucault Fiches de Lecture (FFL)

Basée sur les technologies du web sémantique, la plate-forme permet également d’enrichir ces informations par un système de mashup et d’alignement avec les données bibliographiques et biographiques de data.bnf.fr. En outre, elle fournit une transcription de chaque fiche. Cette transcription automatique est obtenue à l’aide du logiciel Transkribus qui, basé sur une technologie d’intelligence artificielle, après une phase d’apprentissage via des réseaux neuronaux, permet la reconnaissance d’écritures manuscrites ainsi qu’une recherche par mots clés. Malgré la nécessité d’un travail minutieux ligne par ligne, l’équipe a constaté un taux moyen de réussite de reconnaissance de l’écriture de 92%, une fois l’entraînement effectué. Enfin, les ingénieurs de recherche travaillent sur une fonctionnalité de cartographie pour permettre aux chercheurs de visualiser graphiquement les connexions entre les fiches et, à partir de ces connexions, de visualiser les réseaux de notions et d’auteurs. Le projet vise ainsi à constituer une base de connaissances sur les sources de Foucault ainsi qu’un référentiel terminologique du vocabulaire employé par le philosophe.

Exemple de transcription

Le passage des archives papier au numérique implique pour les chercheurs une nouvelle manière de les appréhender. La possibilité d’établir des liens hypertextuels entre les fiches et vers des ressources extérieures ainsi que d’obtenir des visualisations de données constitue des atouts majeurs du projet qui vise ainsi à offrir aux chercheurs un modèle de travail ouvert mais aussi une réflexion théorique sur les méthodes de travail de Foucault et ses archives, sa « bibliothèque ».

Réutiliser les données existantes

Ce corpus de fiches de lecture présente un statut hybride : plus qu’un texte, il constitue une banque de données bibliographiques. Dans leur matérialité, les fiches, accumulées pendant plus de trente ans, sont rangées dans des boîtes et des chemises selon un ordre thématique. Systématiquement, sur ces fiches, Foucault relève des références et attribue des concepts. Dans la dimension virtuelle de la plate-forme, ces références à des personnes, documents et concepts sont alignées, autant que possible, avec data.bnf.fr ou pointent vers le catalogue général de la BnF ou bien vers d’autres catalogues de bibliothèques lorsque la référence n’est pas présente sur data.bnf.fr. À ces métadonnées structurées, s’ajoutent les annotations produites par les chercheurs (par exemple des commentaires personnels ou des ajouts de références) et les transcriptions intégrales des fiches.

Comment alors tirer parti au mieux de ces différents types de données (métadonnées structurées, annotations et transcriptions) ? Cet enrichissement de données via data.bnf.fr pourrait-il être complété par le même travail à partir des transcriptions des fiches, du plein texte ?

Les index des Cours au Collège de France (thèmes et personnes) ont été fusionnés en un seul (l’index de 10 cours représente 200 pages), mais ils ne décrivent qu’une partie de l’œuvre (1970-1984) et se révèlent trop spécialisés autour des thèmes des cours ; l’équipe s’interroge alors sur la possibilité de créer un thésaurus à partir de notions ou d’utiliser un thésaurus existant pour décrire les concepts employés par Foucault afin de contrôler la création de nouvelles entités et d’améliorer la qualité des données textuelles.

Parmi les possibilités existantes, Rameau (Répertoire d’autorité-matière encyclopédique et alphabétique unifié), en tant que langage d’indexation matière répandu dans le monde des bibliothèques, semble au premier abord être une solution intéressante. Aux échanges entre chercheurs et ingénieurs de recherche, s’ajoute alors un autre domaine de compétences : celui des sciences de l’information. L’échange entre des experts de Rameau à la BnF et l’équipe de recherche a permis de déterminer que ce langage documentaire n’est pas adapté à une terminologie spécifique comme celle de Foucault. En effet, les catégories foucaldiennes ne recouvrent pas les concepts du thésaurus. Les concepts de Rameau se rapportent à une classification à vocation encyclopédique et universelle à l’opposé de l’indexation des fiches de lecture qui a vocation à tenir compte de la valeur sémantique dépendante de l’usage et du contexte d’emploi des termes par le philosophe. SKOS, en permettant la description des types de relations entre des catégories et donc en permettant la description non seulement de relations hiérarchiques mais aussi associatives, est proposé alors comme un possible cadre de départ pour formaliser les relations entre les concepts. 

Visualiser les données

Outre la question de l’enrichissement des données via des thesauri, d’autres questions se posent dans le cadre du projet autour de l’enrichissement de l’expérience de navigation et de recherche.

Comment permettre la navigation dans les données à partir des graphes ? Un des obstacles face auxquels l’équipe se trouve est en effet la difficulté à l’utiliser comme une carte pour accéder aux contenus. Cette difficulté semble résider plus précisément dans le fait que soit la quantité des données est trop élevée pour être exploitée (la carte devient illisible), soit la représentation risque de porter sur des éléments déjà connus. Quel est donc l’apport de la visualisation de données ? Peut-elle faire surgir des interprétations nouvelles ?

La cartographie que l’équipe vise à construire sert à naviguer dans les fiches, plutôt qu’à représenter les concepts eux-mêmes. À l’état actuel d’avancement du projet, cette cartographie sert à savoir ce qui a été saisi et voir quel philosophe ou quelle notion apparaît dans quelle fiche.

Exemple de graphe du projet FFL

Modéliser les données

L’enjeu du projet est de réunir des usages de recherche différents sur le matériau que constituent les fiches, mais sans les réduire à un dénominateur commun : quel modèle de données alors pour le travail collaboratif ? Comment associer travail personnel et collectif ? Comment faire face à l’hétérogénéité du corpus et des usages de recherche ? Le modèle élaboré par l’équipe a été donc structuré autour du principe de l’annotation, autrement dit un « modèle centré annotations ». Il tente de concilier l’hétérogénéité de ce que les fiches contiennent (représenté sous forme d’annotations) avec les éléments homogènes comme par exemple les titres.

À chaque élément saisi par le chercheur dans la plate-forme, ou à chaque annotation, sont rattachées des métadonnées : information de provenance (qui l’a saisie et quand), type de chaque information saisie et portée (quelle partie du corpus est couverte). Certaines informations sont privées et visibles uniquement par celui qui les a saisies, ou restreintes pour un groupe de personnes.

Exemples de fiches de lecture de Michel Foucault

Dans le modèle, chaque annotation est une ressource avec une URI. Son contenu peut être un littéral ou une entité avec elle-même une URI. S’y ajoutent les méta-métadonnées (type, catégorie comme analyse scientifique ou archivistique ou note éditoriale, auteur, date, conditions d’accès).

Graphe FFL

Enrichir  les données non structurées

Les participants partagent un constat : la personnalisation des outils a pour conséquence de faire diverger les projets. Dans le prototype du projet Foucault Fiches de lecture, un membre de l’équipe a fait un import en local des données de data.bnf.fr dont il avait besoin. Pour éviter ce phénomène, Omeka permet de travailler avec des plug-ins que l’utilisateur peut choisir d’ajouter à son site internet. Par exemple,  un plugin, LC suggest, permet d’intégrer les référentiels de la Bibliothèque du Congrès comme aide à la saisie. Un tel plug-in serait utile pour data.bnf.fr. Un membre de l’équipe du projet propose un appel à la communauté pour développer de tels plug-ins pour Omeka ou WordPress. La question de la maintenance des logiciels développés dans le cadre de projets de recherche se pose alors.

L’objectif de ces développements est d’avoir des fichiers TEI1 bien formés, sans obliger les chercheurs à apprendre la TEI qui est un langage assez technique. S’ils ont eu le temps de l’acquérir, les chercheurs n’ont guère le temps de maintenir ce savoir. Chaque chercheur membre du projet pourra lui-même annoter ses fiches avec des balises par simple clic.

La BnF a testé la reconnaissance d’entités nommées avec l’API Watson sur une dizaine de fiches transcrites à la main, pour les personnes, dates, lieux, et organisations : environ 70% des personnes sont identifiées et 40% des lieux. Les quantités, dates et durées sont bien reconnues. L’algorithme est peu performant avec les organisations. En revanche, les API commerciales ne savent vraiment pas reconnaître des titres d’œuvre. Il est possible de fournir à Watson le dictionnaire propre du projet pour améliorer les résultats.

Contribuer à la recherche grâce à la complémentarité entre plate-forme numérique et travail d’édition papier

L’ordre des fiches de lecture telles qu’arrivées à la BnF n’est pas forcément significatif. La construction d’un réseau intertextuel entre les fiches est un apport majeur rendu possible par le numérique. Il ne permet pas de découvrir un nouveau Foucault, mais la richesse de ses archives de travail. 

À partir du matériel conservé dans le fonds Foucault de la BnF, deux projets d’éditions en particulier sont en cours : la publication des cours et travaux antérieurs au Collège de France, dans la collection « Hautes études » des éditions Seuil/Gallimard et la réédition des Cours au Collège de France en édition de poche, dans la collection « Points » des éditions du Seuil.

Outre la publication d’un certain nombre d’inédits, la première série en particulier se propose aussi de valoriser le matériel qui accompagne les manuscrits de ces cours/travaux, à savoir le matériel venant des archives. Ce matériel, parmi lequel figurent les fiches de lecture, est fondamental pour l’édition des manuscrits, pour la rédaction des notes bibliographiques et des notes critiques. La question fondamentale qui se pose à l’éditeur est : comment faire pour retrouver les informations parmi les milliers de feuillets consultés ? La plate-forme élaborée dans le cadre du projet FFL apporte une réponse à ce problème. Quand le philosophe renvoie dans un manuscrit à une source bibliographique incomplète, la plate-forme permet de lancer une recherche par auteur par exemple et retrouver les fiches de lecture qui concernent cette source. Outre à améliorer la compréhension des données bibliographiques, la plate-forme aide le travail d’édition en permettant une recherche par notion qui fait ressortir des informations sur la bibliographie et l’emploi d’un certain terme.

Dans cette perspective, le projet FFL contribue en général à la réflexion autour des archives contemporaines et à la manière dont le numérique peut changer le rapport aux sources d’archives.

  1. Text Encoding Initiative []