Suite aux ateliers « Décrire, transcrire et diffuser un corpus documentaire hétérogène : méthodes, formats, outils » et « Géolocalisation et spatialisation de documents patrimoniaux », une troisième demi-journée d’étude a été organisée dans le cadre du programme de recherche CORPUS, inscrit au plan quadriennal de la recherche 2016-2019 de la Bibliothèque nationale de France (BnF). Dans la continuité des deux ateliers précédents, cet après-midi d’étude, qui a eu lieu le 28 mars sur le site Richelieu, était conçu autour d’une seule thématique et dans le même esprit d’incitation au partage entre le monde des bibliothèques et les milieux académiques.

Neuf présentations se sont succédé au fil de l’après-midi avec l’objectif d’esquisser un panorama de différentes applications des méthodes d’analyse automatique d’images par le contenu.

L’état de l’art des solutions logicielles, actuelles ou en développement, réalisé à la demande de la BnF au Centre Européen de valorisation numérique Valconum.

Présentation par Nicolas Sidère, ingénieur de recherche, laboratoire Informatique, Image et Interaction (L3i), université de La Rochelle.

La BnF s’est engagée en 2017 à « faciliter l’usage de Gallica » – la bibliothèque numérique de la BnF – en développant « des outils conviviaux d’exploration des corpus (fouille d’images, reconnaissance d’articles, etc.) »¹. Afin de mieux cerner les possibilités existantes pour mettre en place à terme de tels outils permettant la fouille d’images, une étude a été demandée en 2017 par la BnF à Valconum, consortium académique-industriel visant la valorisation de contenus numériques. Cette étude, cordonnée par le L3i et rédigée par quatre laboratoires partenaires (L3i, LIPADE, CVC, IRISA), avait donc pour objectif de fournir un panorama des solutions logicielles pour la mise en place d’un outil de recherche d’images dans Gallica reposant non plus sur les métadonnées textuelles associées essentiellement manuellement aux images, comme à l’heure actuelle, mais aussi sur la reconnaissance automatique de caractéristiques formelles ou structurelles des images.

Parmi les possibilités de recherche d’images existantes, trois orientations peuvent être distinguées : la navigation libre dans un corpus, la recherche par mots-clés et la recherche par le contenu, que la BnF souhaite intégrer à Gallica.

Le fonctionnement d’un système traditionnel d’indexation et de moteur de fouille d’images basé sur le contenu (CBIR, Content-Based Image Retrieval) prévoit différentes phases : le prétraitement des images pour en améliorer la qualité (suppression de distorsions, augmentation des contrastes, suppression de bruits de numérisation, etc.), ensuite l’extraction des caractéristiques structurelles des images, la constitution d’une base de données où ces caractéristiques sont stockées, pour être enfin comparées aux caractéristiques d’une image spécifique lors d’une requête de l’utilisateur.

Deux grandes catégories d’approches d’indexation par le contenu sont possibles aujourd’hui : l’approche par le contenu visuel et celle par le contenu sémantique.

La première approche vise à générer la signature d’une image en extrayant des indices visuels sur la base de trois typologies de caractéristiques : description globale (couleur, texture, forme), description spatiale (agencement des composantes d’un document) ou description locale (utilisation de descripteurs sur des zones locales d’intérêt).

Avec l’avènement de l’apprentissage profond (deep learning), la capacité à extraire et à sélectionner ces caractéristiques de manière automatique (c’est-à-dire par des réseaux de neurones artificiels) accélère les traitements et ouvre de nouvelles voies. Une application immédiate de cette approche est la recherche d’images par similarité.

La deuxième approche, celle d’indexation par le contenu sémantique, ne vise pas à rechercher des notions visuelles (aussi définies comme « bas niveau ») mais à détecter automatiquement des concepts (aussi définis comme « haut niveau ») pour la création d’un index sémantique. Cela permet l’étiquetage soit d’une image entière, soit d’une portion de l’image et ces étiquettes peuvent être ensuite inclues dans une ontologie qui permet de faire des inférences ou de désambiguïser. ImageNet est aujourd’hui l’exemple le plus parlant de base d’images (naturelles) annotées à partir de concepts (80 000). Des applications possibles grâce à l’indexation par le contenu sémantique sont par exemple l’identification et la localisation d’objets dans une image (détection de visages, de personnes, d’objets, etc.) ou la génération automatique de légendes d’illustration.

Concernant les outils existants ou en développement et les acteurs, trois types peuvent être distinguées :

• Les outils fournis par les « géants du Web » (Google, Apple, Facebook, Amazon, Microsoft) ou GAFAM : Google Vision API, Amazon Rekognition, IBM Watson/ Cloud Visual Recognition, qui donnent des résultats prometteurs mais présentent aussi des défauts (entrainement sur des corpus iconographiques contemporains, coût à l’image analysée) ;
• Les start-up ou laboratoires spin-off (Lamark, NeoVision, Videntifier, OddConcepts) qui peuvent répondre à des besoins plus spécifiques mais qui demandent plus de temps de mise en œuvre ;
• Les frameworks ou bibliothèques open source (Caffe, TensorFlow, OpenCV, FLANN, Faiss) prêts à l’emploi ou personnalisables.

Les contraintes principales pour la mise au point d’un outil d’indexation et de recherche d’image par le contenu sont la nature hétérogène des corpus en termes de contenus, de techniques de production et de supports, de supports-images (qualité de numérisation et de compression). La diversité des approches et outils à disposition implique également de faire des choix scientifiques/techniques. Enfin, la nécessité d’investissements d’infrastructure informatique pour un passage à l’échelle est un point à prendre en considération.

Afin de satisfaire les besoins des institutions patrimoniales telles que la BnF, la collaboration avec les laboratoires de recherche, et entre institutions, paraît la solution la plus adaptée en permettant notamment la prise en considération des spécificités des collections et des images anciennes.

Gallica.pix, une preuve de concept utilisant les collections de Gallica sur la période 1914-1918.

Présentation par Jean-Philippe Moreux, expert OCR et formats éditoriaux, BnF.

Gallica.pix est un démonstrateur développé par Jean-Philippe Moreux et accessible sur Gallica Studio. Il met en œuvre une approche d’indexation sémantique sur les collections iconographiques de Gallica couvrant la période 1914-1918 et sur lesquelles différents outils ont été expérimentés dans une optique de recherche d’information encyclopédique.

La réalisation du PoC a demandé plusieurs étapes : la première consistait à repérer les illustrations, y compris celles contenues dans les imprimés (presse quotidienne, revues, monographies) à l’aide des API de la BnF ; la deuxième consistait à les enrichir avec des métadonnées permettant leur recherche ; la dernière à élaborer une interface de recherche web interrogeant une base XML (basex.org).

Le fait d’identifier les illustrations et de les référencer dans une application dédiée à la recherche d’images offre en soi une expérience utilisateur enrichie. Néanmoins, cette première phase d’extraction pose un certain nombre de défis :

• Pour la collection Images, les métadonnées bibliographiques sont souvent lacunaires, sans vocabulaire normalisé, et pas pensées pour cet usage. Certains recueils d’images sont signalés avec une seule notice pour x
• Pour les imprimés, l’identification des illustrations au sein des pages est donnée par l’OCR, avec les défauts de ce dernier. Ainsi pour le cas particulier de la presse quotidienne, le bruit peut atteindre 80% pour de l’OCR brut.
• Toujours pour la presse quotidienne, l’identification des publicités illustrées (avec une part proche de 30%) est un autre enjeu, car elle ne peut être menée sur les seuls critères visuels.

Dans la deuxième étape d’enrichissement des métadonnées, ont été utilisés un réseau de neurones pré-entrainé et open-source de Google (Inception-V3) pour la classification des genres d’illustrations (photo, gravure, carte, etc.) puis l’API IBM Watson Visual Recognition pour l’indexation sémantique (la bibliothèque open source OpenCV/dnn a également été testée). Les images elles-mêmes sont extraites des serveurs Gallica via l’API Image IIIF.

Le réseau Inception-V3 est un réseau de neurones convolutionnels (CNN). Il a été réentrainé (sa seule dernière couche, approche dite « d’apprentissage par transfert », “transfer learning”) sur un jeu de 12 classes documentaires (environ 1000 images par classe) et évalué sur un sous-ensemble du jeu.

Rappel et précision sont de l’ordre de 90%. Cette approche permet également de filtrer le « bruit » issu de l’OCR mais aussi celui présent dans les collections Images (recueils, portfolio, etc.) : couverture, pages blanches intercalaires, pages de texte.

L’utilisation d’un réseau de neurones induit des comportements spécifiques. Ainsi les confusions surviennent sur des genres visuellement proches (photographie/gravure, schéma/carte/dessin, etc.).

L’échelle d’analyse du réseau (299×299 pixels) intervient également. À cette échelle, des pages de genres différents peuvent sembler visuellement proches.

Le phénomène de généralisation est aussi exemplaire de l’apprentissage profond : le réseau sait identifier des images proches de celle de la classe d’apprentissage. Ainsi de ces cartes illustrées.

En matière d’indexation sémantique, deux évaluations ont été menées sur les classes Personnes et Soldats extraites par IBM Watson. Ainsi pour la recherche de visuels de soldats, si le taux de rappel de l’API n’est que de 55%, la possibilité de réentrainer le réseau sur les données de la BnF permet de gagner 5%. Et en croisant cette indexation visuelle sémantique avec les métadonnées bibliographiques, le taux de rappel atteint alors 70%. A comparer aux 20% obtenus par une requête par mot-clé sur les seules métadonnées (« soldat OU poilu OU officier… »).

La détection de visages de l’API Watson est également testée. Un taux de rappel de 30 % et une précision de 99,8 % montre que l’API a été paramétrée avec des réglages conservatifs. Un autre réseau (modèle ResNet du module « dnn » d’OpenCV 3.3) donne un meilleur taux de rappel (au détriment de la précision), y compris sur des documents « difficiles » (dessin de presse, gravure).

 

Finalement, l’application web Gallica.pix interroge la base XML avec XQuery et affiche les imagettes via le serveur IIIF BnF. Divers cas d’usage peuvent être envisagés :

• Mot-clé: une recherche sur un mot-clé interroge les métadonnées bibliographiques et l’OCR. L’exemple ci-après montre les résultats d’une recherche menée sur Georges Clemenceau dans Gallica et dans Gallica.pix : la fouille dans les imprimés a considérablement enrichi l’offre iconographique.

• Types documentaires : dans le cas précédent, la facette « Dessin » donne accès aux caricatures de presse de Clemenceau
• Concepts: l’indexation sémantique visuelle est utilisée. Toujours dans le cas « Clemenceau », les critères Personne ou Visage permettent de filtrer les illustrations de Georges Clemenceau de celles se rapportant à lui (événements, commentaires, etc.). Autre exemple, le concept « Avion » donne accès à des illustrations représentant des avions alors que le mot-clé « avion » renvoie aussi à des aviateurs, des cartes aériennes, etc.

• Requêtes hybrides : L’indexation sémantique et les métadonnées sont utilisées. Ainsi la recherche de visuels sur les destructions urbaines consécutives à la bataille de Verdun : classe=(”rue” OU ”maison”) ET mot-clé=”Verdun”

Le PoC a permis de mettre en évidence les atouts d’une telle approche :

• La maturité des techniques d’IA dans le traitement d’image rend possible leur intégration dans la boîte à outils des bibliothèques numériques.
• Un accès unifié à toutes les ressources iconographiques d’une collection numérique à vocation encyclopédique est offert.
• Elle ouvre de nouvelles perspectives, avec par exemple la création de jeux de données iconographiques pour la recherche (cartes, publicités, sports, etc.) ou pour l’entraînement (apprentissage profond).
• La réutilisation des ressources numériques est favorisée : les fonds iconographiques ainsi référencés et indexés peuvent à leur tour être diffusés avec des protocoles standards (en particulier avec l’API Presentation de IIIF).
• De manière annexe, ce PoC montre qu’il est possible de réaliser des applications complexes à partir de l’offre en API de la BnF.

Cependant, des défis et questionnements se font jour :

• Verrous scientifiques : segmentation et indexation sur des fonds hétérogènes ; entraînement sur des fonds patrimoniaux (les offres commerciales étant entraînées sur des ressources contemporaines)
• Ingénierie : architecture technique, puissance de calcul, explosion des métadonnées (10 M pour le corpus Gallica.pix)
• Métadonnées descriptives pour l’indexation : modèle de données, formats, vocabulaires, standards ?
• Cycle de vie de l’indexation ?

Le prototype Gallica Images.

Présentation par Raphaël Baudiment, ingénieur étude et développement, BnF.

Le prototype Gallica Images, développé par Raphaël Baudiment, met en œuvre l’autre approche d’indexation d’images par le contenu : celle du contenu visuel basée sur les similarités formelles et structurelles des images. Sans faire appel aux techniques d’apprentissage profond, l’objectif était de créer un index à partir d’un corpus d’images de Gallica issu des collections d’images des départements spécialisés.

L’index de test de plus de 620 000 images ne s’appuie pas sur les métadonnées bibliographiques mais il est construit à partir de la structure de chacune des images, décrite dans une signature utilisée pour la comparaison et l’identification de similarités lors d’une recherche. À cet effet, pour chaque image, des statistiques ont été calculées sur la distribution colorimétrique (un seul canal pour les images noir et blanc ou en niveaux de gris, trois canaux pour les images en couleur) à l’aide de l’outil open source ImageMagick qui permet de calculer pour chaque canal de l’image la moyenne colorimétrique, l’écart type, l’ asymétrie, la courbure et l’entropie.

Afin de rechercher ces images, une application web a été développée pour fonctionner en deux phases : une première phase de présélection qui présuppose la pertinence par rapport à l’image-requête et une deuxième phase de tri pour fournir en réponse de la requête des résultats classifiés par pertinence descendante. Pour cette deuxième phase a été utilisé l’un des algorithmes en surcouches du serveur Solr développés dans le cadre du projet Lucene/LIRE. L’algorithme, choisi en raison de sa pertinence, s’appelle calcul d’empreinte FCTH (Fuzzy Color and Texture Histogram) ; il prend en entrée une image et ensuite calcule une empreinte sous forme d’un tableau de 192 octets. Outre l’index produit par ImageMagick, un deuxième index a donc été constitué via l’algorithme FCTH ; l’avantage étant l’utilisation des empreintes pour le calcul de distance. La mesure de similarité de Tanimoto, a enfin été employée pour calculer cette distance, c’est-à-dire pour classifier les images sur la base du niveau de similarité.

L’index produit a servi à construire une API qui permet d’utiliser un protocole pour interroger les images en termes de palette de couleurs et de proportions.

Grâce au protocole IIIF, d’autres fonctionnalités ont été expérimentées, comme par exemple une expérience renouvelée de l’exploration de documents cartographiques basée sur la comparaison de cartes anciennes avec des systèmes cartographiques contemporains tels qu’OpenStreetMap.

En conclusion, Gallica Images propose une nouvelle forme de découverte des collections BnF, rythmée par des rebonds qui incitent la flânerie et la sérendipité. Dans une application de recherche d’image, cette approche serait complémentaire des techniques d’indexation sémantique.

Diginpix, un système d’identification d’entités visuelles dans les images fixes et animées.

Présentation par Nicolas Hervé, chercheur en informatique, INA.

Diginpix est un prototype de système de reconnaissance d’entités visuelles développé à l’Espace recherche de l’Institut national de l’audiovisuel en 2014, en collaboration avec équipe-projet ZENITH de l’INRIA. Il ne se base pas sur l’apprentissage de classes (concepts généraux) mais sur la reconnaissance d’instances, c’est-à-dire d’éléments spécifiques dans une image fixe ou animée qu’on peut définir comme des entités visuelles en faisant un parallèle avec la reconnaissance d’entités nommées dans un texte.

Le prototype est disponible en ligne et fonctionne sur deux types d’entités visuelles : des logos et des peintures. Ces entités visuelles sont issues de dictionnaires sur lesquels le système de reconnaissance a été entrainé. Le dictionnaire des logos contient 25 000 entités morales issues de liste de marques, de partis politiques, d’organisations internationales par exemple, pour lesquels les images ont été repérées sur Google pour constituer automatiquement une base de données. Le dictionnaire des peintures est quant à lui le résultat d’un partenariat avec l’agence photos RMN dont la base de données, qui contient 5 photographies par tableau en moyenne, a été partagée. Les deux bases de données sont donc de deux natures différentes : d’un côté une base qui contient énormément d’images par entité (200 images environ par logo) mais de qualités hétérogènes, de l’autre une base qui contient peu d’exemples mais d’excellente qualité.

Le prototype a été testé sur le fonds des vidéos de sport, de musées et les vidéos disponibles en ligne sur le site ina.fr. Pour ne pas masquer la complexité des systèmes de reconnaissance visuelle, les pourcentages de réussite (les scores de prédiction de l’algorithme) sont clairement affichés dans les résultats afin de donner à l’utilisateur l’autonomie et le choix de prendre en compte une vidéo ou pas dans le cadre de ses recherches.

L’image animée implique une problématique ultérieure par rapport à l’image fixe en raison de sa dimension temporelle. Un visualiseur spécifique a été aussi développé, dans une logique open source, pour permettre le repérage rapide des entités visuelles dans la temporalité de la vidéo.

Comme le repérage d’entités visuelles demande énormément d’informations locales, les bases de données d’indexation constituées à partir de la reconnaissance des entités sont conséquentes (elles peuvent avoir une taille supérieure à celle des vidéos elles-mêmes) et font l’objet de recherches au sein de l’établissement pour en optimiser les temps de calcul.

Dans ce contexte, la qualité et la modélisation des données jouent un rôle fondamental car c’est sur les bases de données que les algorithmes sont entrainés.

Reconnaissance automatisées des images de presse. L’exemple de la presse d’entre-deux-guerres.

Présentation par Pierre-Carl Langlais,  post-doctorant dans le cadre du projet ANR Numapresse.

Le travail de Pierre-Carl Langlais n’est pas mené dans l’optique de fournir des outils pour l’exploration de corpus mais dans la perspective de développer des solutions techniques pour répondre à des questions scientifiques posées, plus spécifiquement, dans le cadre du projet Numapresse. Ce projet ANR, actuellement en cours, a pour vocation d’explorer les mutations culturelles, les transferts génétiques et poétiques de la presse francophone de 1800 à 2018.

L’expérimentation présentée part du postulat que la plupart des images de presse sont intégrées dans un article et propose une classification automatique des images par le texte.

Le premier matériau pris en considération pour l’expérimentation a été l’OLR (Optical Layout Recognition) produit dans le cadre du projet Europeana Newspapers (1814-1945). En permettant la reconnaissance semi-automatique des agencements des éléments dans une page de journal, il permet indirectement d’identifier des illustrations dans la presse.

Parallèlement à la distinction des zones textuelles des zones iconographiques, un prototype de topic modeling supervisé, couvrant dix-neuf formes journalistiques, a été développé pour repérer les formes courantes entre 1920 et 1940. Ces modèles permettent d’analyser la répartition des genres sur de longues périodes, et de mettre en lumière des récurrences et des ruptures.

Ce modèle permet donc de classifier les articles mais aussi les illustrations associées et de constituer des sous-corpus thématiques à partir de la classification opérée. Avec cette classification des images via le texte, il devient possible de parcourir rapidement l’ensemble des images publiées dans une rubrique et de faire émerger des pratiques visuelles inattendues.

L’indexation sémantique visuelle sur l’illustration de presse est également évaluée à l’aide de modèles généralistes (Imagenet), qui de fait sont imparfaits. Néanmoins, dans un corpus aussi spécifique (le sport dans la presse quotidienne), les catégories prennent sens les unes par rapport aux autres. Ainsi la projection des proximités entre les classes d’Imagenet sur les images de sport du Parisien de 1934, puis la montée en abstraction sémantique grâce aux métadonnées de wordNet conduit à un réseau d’étiquetage pertinent des « régimes de représentabilité » du sport.

D’autres perspectives de recherche concernent les légendes des illustrations, la segmentation des composantes des illustrations, l’agencement de l’image du texte, la « viralité » de l’image de presse ou enfin les conditions de production de l’image de presse.

Cette expérimentation met en lumière les possibilités ouvertes par la technique mais aussi l’importance des compétences scientifiques, garantes de la pertinence de l’interprétation des résultats.

Le projet SIAMESE. Les images publicitaires comme sources historiques.

Présentation par Melvin Wevers, post-doctorant, DHLAB-KNAW, Amsterdam.

Le projet de recherche SIAMESE naît de l’idée qu’à partir de l’analyse des images publicitaires, il est possible de dégager les idéaux, les modes et les aspirations d’une société à une époque donnée. Le projet a été mené en 2017 par Melvin Wevers en tant que « chercheur en résidence » au KB Lab de la Bibliothèque nationale des Pays-Bas.

Afin d’analyser les images publicitaires présentes dans la presse du XX^e siècle (1,6 million de publicités environ), le recours à une analyse computationnelle était nécessaire. La Bibliothèque nationale des Pays-Bas signale dans Delpher deux typologies d’information : les métadonnées de l’illustration (journal, page, taille et date de publication) et le texte contenu dans l’illustration (extrait grâce aux techniques d’OCR). Ces informations peuvent être analysées indépendamment car elles permettent de connaître par exemple les changements en termes de taille, de positionnement dans les journaux et de proportion d’éléments textuels et d’éléments visuels.

Dans une approche de vision par ordinateur (computer vision), les métadonnées peuvent être croisées avec l’analyse automatique des images. En effet, pour ce qui concerne les images publicitaires, la fouille du texte (text-mining) ne suffit pas à identifier par exemple toutes les publicités de la marque Camel car parfois le texte « Camel » est présent dans l’annonce, parfois il ne l’est pas mais un logo se trouve à la place. La fouille d’image (image mining) peut alors compléter cette « insuffisance » des métadonnées et du text mining en apportant les informations visuelles.

Le projet SIAMESE, d’une durée de six mois, a été l’occasion d’expérimenter l’utilisation de réseaux de neurones convolutionnels (CNN) pour étudier les publicités dans deux journaux nationaux sur la période 1948-1995. La première phase du projet consistait à nettoyer les données via les métadonnées pour sélectionner les publicités contenant des éléments iconographiques. La deuxième phase consistait à utiliser des réseaux neuronaux pour identifier les éléments iconographiques dans les images. Comme les réseaux de neurones existants ne donnaient pas de bons résultats avec les images publicitaires du XX^e siècle, au lieu d’utiliser la dernière couche de classification du réseau (qui détermine par exemple si un chat est un chat et avec quel niveau de probabilité il l’est), la décision a été prise de s’arrêter à l’avant-dernière couche de calcul qui identifie les caractéristiques structurelles et formelles (2048 données) d’une image, par exemple déterminer si dans l’image est présente une ligne diagonale ou des cercles ou des triangles.

Les images ont donc été classifiées selon leurs caractéristiques visuelles en utilisant la bibliothèque open source pour TensorFlow qui permet de calculer les regroupements visuels (clustering). Une recherche des plus proches voisins permet ensuite de naviguer dans cet espace de représentation. Ce processus a abouti à l’application SIAMESE qui, à partir de la sélection d’une image, fournit les images publicitaires similaires par année et la possibilité de consulter le journal dans lequel la publicité en question a été publiée.

L’utilisation d’un réseau de neurones dans le cadre du projet HIMANIS.

Présentation par Dominique Stutzmann, chargé de recherche, IRHT.

HIMANIS est un projet européen (2015-2018, HERITAGE PLUS Joint Call) qui repose sur le soutien et l’engagement d’institutions patrimoniales, d’institutions de recherche en humanités et de chercheurs en sciences informatiques. Ce projet pluridisciplinaire a pour objectif ultime de comprendre la réalité du gouvernement royal à partir de l’indexation du corpus des registres de la chancellerie royale (c’est-à-dire la copie par l’administration royale des actes, à valeur perpétuelle essentiellement, qui sont produits pour les gens du royaume), qui est un corpus sur lequel les érudits travaillent depuis le XVII^e siècle. Ce corpus (200 volumes, 70k pages, français, latin, allemand) est conservé aux Archives nationales et à la BnF.

Un prototype de recherche et de consultation a été réalisé. Il est basé sur un moteur de recherche avec négociation de contenu, qui permet à l’utilisateur de favoriser la précision ou le rappel d’information parmi l’ensemble des hypothèses de reconnaissance fournies par le système.

Pour atteindre ce résultat, la maîtrise des données était d’abord nécessaire pour pouvoir entrainer la machine et pour assurer un apprentissage qualitatif. L’entrainement est réalisé sur la base d’un corpus TEI constitué à partir des transcriptions existantes des chartes (éditions rétroconverties et éditions électroniques natives). Le modèle apprend donc sur un corpus dont la langue a été modernisée et dont les abréviations ont été mises au long.

L’entraînement est réalisé au niveau de la ligne (ce qui suppose d’entraîner un segmenteur de lignes, d’aligner les lignes avec le texte du corpus, et de corriger les erreurs résiduelles, ce qui a été réalisé à l’aide de l’outil Transkribus). La reconnaissance de l’écriture s’appuie sur un réseau de neurones récurrent (RNN) et des ressources linguistiques (N-grams, dictionnaires, lemmatisation).

L’évaluation de la qualité de la transcription et des performances en regard des usages attendus est un autre enjeu fort de ce projet.

Le travail actuel porte sur l’élaboration d’une nouvelle interface, l’identification des scribes et des entités nommées (pour donner un accès géographique ainsi que nominal permettant l’analyse de réseaux), ainsi que l’exposition des données grâce à des protocoles interopérables (en particulier IIIF). De ce fait, une intégration des résultats d’HIMANIS dans Gallica est une perspective envisageable.

Ce projet met en lumière l’importance de la réutilisation de données ou métadonnées historiques qui permettent, elles, d’entrainer correctement des machines à identifier les textes, les lire et les catégoriser, et cela pour des volumes importants (70 000 pages). Il ouvre les moyens de créer de nouveaux savoirs dans un environnement ouvert.

La compétition scientifique CLAMM.

Présentation par Nicole Vincent, professeure au LIPADE, Paris Descartes.

La compétition CLAMM vise à fournir des solutions pour la classification automatique de manuscrits médiévaux latins afin de permettre l’étude de réseaux à l’époque médiévale. L’objectif de la compétition était donc de reconnaître des types d’écriture (distingués en douze classes) dans des manuscrits médiévaux et d’en établir la datation. Deux niveaux de difficulté ont également été distingués relativement à l’homogénéité des images.

La base de données sur laquelle se base la compétition a été annotée par les membres experts de l’IRHT, structurée en sous-ensembles pour permettre plusieurs tâches et divisée en deux (une partie pour l’apprentissage et une partie pour les tests). Deux corpus d’images ont été utilisés : un premier relativement homogène, constitué par des images de bonne qualité en niveaux de gris dédié à l’apprentissage et aux tests; et un deuxième corpus hétérogène en termes de formats, compressions et couleurs dédié aux seuls tests.

Deux compétitions ont eu lieu : une en 2016 et une en 2017. Lors de la première, l’objectif était de reconnaître le style de l’écriture. En 2017, deux tâches étaient en revanche visées : au style des écritures venait s’ajouter la datation. Le taux de reconnaissance globale, par classe  ainsi que la distance intra-classe moyenne étaient les critères d’évaluation.

En 2016, le meilleur système pour la reconnaissance globale (sous forme de matrice de confusion, à gauche dans la figure suivante) met en évidence la capacité de la machine à reconnaître la plupart des classes. Les résultats concernant la distance intra-classe (à droite dans la figure) permettent d’évaluer la qualité des caractéristiques extraites par les systèmes en compétition (il est possible de travailler sur deux niveaux).

La robustesse des systèmes est aussi un enjeu majeur. Le graphe suivant montre par exemple un système (bleu foncé) offrant de bonnes performances globales mais étant mis en échec sur la classe 11.

Concernant la datation, les résultats sont moins satisfaisants car l’ensemble de l’apprentissage était moins régulier en nombre d’éléments par classe.

La moitié des systèmes étaient basés sur des CNN et des architectures profondes, les autres sur des caractéristiques plus ou moins nombreuses. Les architectures profondes ont donné les meilleurs résultats.

Pour ces tâches de classification, des approches interactives sont également envisageables. Elles consistent par exemple à faire apprendre au système, par interaction avec l’expert, les poids des différentes caractéristiques, ou encore à donner un feedback utilisateur au système, ce qui permet d’améliorer ce dernier au fur et à mesure de son utilisation.

Le deep learning pour l’histoire de l’art, un projet de thèse.

Présentation par Nicolas Gonthier, doctorant, LTCI, Télécom ParisTech – Université Paris Saclay.

Sous la direction de Yann Gousseau, Saïd Ladjal (Télécom ParisTech) et Olivier Bonfait (Université de Bourgogne), Nicolas Gonthier mène depuis cette année un projet de recherche intitulé « Transfert d’apprentissage pour l’analyse iconographique d’œuvres d’art graphiques ». Ce projet de thèse vise à permettre l’indexation iconographique automatique en faisant appel aux techniques et aux méthodes de l’apprentissage profond. Le projet part s’appuie sur le transfert d’apprentissage, c’est-à-dire de l’idée d’utiliser les descripteurs haut niveau d’un réseau de neurones généraliste préentrainé pour une autre tâche. Autrement dit, le réseau entrainé pour réaliser de la classification de photographies est utilisé pour de l’analyse iconographique d’œuvres d’art graphiques.

La démonstration en ligne sur les peintures d’ArtUk suggère qu’il est possible de classifier des peintures à l’aide de descripteurs appris sur des photographies avec deux cents exemples. Une base d’apprentissage est créée à partir d’images issues de WikiCommons et portant sur 5 classes (ange, marie, nudité, ruines, Jésus Christ) et 5475 documents. Plusieurs modèles de réseau sont testés sur cette base.

Par ailleurs, les algorithmes de détection permettent l’identification de différents éléments dans une image, ce qui est un prérequis dans le contexte de l’analyse iconographique d’œuvres. Comment faire du transfert d’apprentissage avec un réseau tel que Faster R-CNN ? Quelle proposition contient l’objet détecté ? Comment mettre en œuvre un apprentissage multi-instances pour l’indexation iconographique ? En ne gardant que la zone la plus positive pour les exemples positifs et en distinguant les choix corrects des choix partiels (phase de sélection) une amélioration de l’apprentissage peut être constatée.

Malgré les limites générales des méthodes d’apprentissage, c’est-à-dire les biais dans la base d’apprentissage et la quantité des exemples, la possibilité d’annoter automatiquement des images avec des détections multiples et donc de réaliser de la recherche « pleine image » représente une opportunité considérable pour l’histoire de l’art.

D’autres éléments peuvent concourir à la réussite de ce type de projet : les classifications iconographiques existantes comme par exemple ICONCLASS et l’ouverture des bases de données des archives photographiques documentaires en histoire de l’art telles que celles conservées par le consortium international PHAROS.

Conclusion

En 2011, des acteurs du monde des bibliothèques constataient que l’indexation de l’image passe par le texte². Aujourd’hui l’image semble avoir encore besoin partiellement du texte pour plusieurs raisons : des annotations sont nécessaires pour entrainer les systèmes de reconnaissance automatique, des métadonnées doivent être produites pour éviter de redemander continûment à la machine des calculs complexes et enfin le croisement des techniques de fouille de texte (text mining) avec celles de fouille d’image (image mining) apporte des résultats plus intéressants pour des projets de recherche sur des ouvrages ou sur la presse. Cependant, sept ans après la publication de l’ouvrage « Images et bibliothèques », les avancées dans le champ de l’analyse automatique d’images sont significatifs grâce notamment au développement des techniques d’apprentissage profond supervisé.

Malgré la disponibilité croissante de réseaux de neurones pré-entrainés et d’algorithmes d’identification des caractéristiques symboliques, l’adaptation du processus et des technologies à l’objectif final est fondamentale pour obtenir des résultats performants. Les institutions patrimoniales comme les laboratoires de recherche, notamment en humanités numériques, auraient alors intérêt à investir dans la phase d’apprentissage, à prendre en compte la complémentarité des deux approches différentes d’analyse et à raisonner par corpus, par ensembles d’images similaires en termes d’époque, technique de production et support-image.

Outre la question de l’apprentissage et de l’anachronisme de l’utilisation d’images contemporaines pour la reconnaissance d’images anciennes, un autre aspect ne devrait pas être négligé : l’espace de stockage. Dans le cadre du projet HIMANIS par exemple pour 4 To d’images, 10 To de métadonnées ont été produites. À une image, 30 à 40 métadonnées descriptives peuvent être facilement associées mais elles risquent d’avoir une durée de vie limitée à cause de la rapidité des progrès technologiques.

Traditionnellement l’image entretient une relation complexe avec la normalisation, notamment pour ce qui concerne les métadonnées associées. Si une normalisation technique dans le champ de l’indexation automatique pourrait être difficile à mettre en œuvre en raison de la rapidité de l’évolution technologique, une normalisation des métadonnées et des ontologies pourrait être en revanche imaginée. Dans les faits, l’utilisation de bibliothèques de réseaux neuronaux open source limite aussi au niveau technique la dispersion et la multiplication des méthodes.

Même si les approches, les techniques, les capacités de calcul et de stockage évoluent, la modélisation et la qualité des données qui servent à l’apprentissage constituent les fondations d’un système stable. Comme la donnée est le pilier de tout système, une attention méticuleuse devrait lui être portée pour éviter des distorsions à long terme.

Comme le résume André Gunthert, ce panorama des approches et des applications des méthodes d’analyse automatique d’images démontre la nécessité et la fécondité de la collaboration étroite entre les humanistes et les ingénieurs pour répondre de manière qualitative à la multiplication des questions scientifiques que la mise à disposition de corpus massifs et de nouveaux outils de recherche d’images provoque.

Eleonora Moiraghi et Jean-Philippe Moreux

1. Bibliothèque nationale de France, Contrat d’objectifs et de performance 2017-2021, p. 23 http://www.bnf.fr/documents/contrat_performance.pdf [↩]
2. Sous la direction de Claude Collard et Michel Melot, Images et bibliothèques, Paris : Éd. du Cercle de la librairie, 2011. [↩]

---

---