Appel à contribution pour la campagne d’évaluation HIPE-2022 sur la reconnaissance d’entités nommées

Dans la lignée des compétitions scientifiques sur la post-correction de l’OCR coorganisées par le L3i et la BnF lors des colloques ICDAR 2017¹ et 2019² , deux partenaires de longue date de la BnF organisent une campagne d’évaluation sur la recherche d’entités nommées, thématique qui concerne de plus en plus les bibliothèques.

Présentation/Contexte

La campagne d’évaluation HIPE-2022 vise à mesurer les performances des systèmes de reconnaissance des entités nommées (par ex. : les noms de personnes, lieux, organisations) dans des documents historiques multilingues. Organisée par des chercheurs du Digital Humanities Laboratory (DHLAB) de l’EPFL, de l’Université de Lausanne, de l’Université de Zurich et de l’Université de La Rochelle, HIPE-2022 fait partie des “Evaluation Labs” de CLEF 2022.

La série de campagnes d’évaluation HIPE participe des efforts communs des communautés scientifiques du traitement automatique du langage naturel et des humanités numériques pour développer des technologies d’extraction d’informations sur des textes historiques. Pour cette seconde édition, HIPE-2022 propose de confronter les systèmes à plus de langues, à des types de documents variés, et à des typologies d’entités différentes. L’objectif est de développer des systèmes “transférables” d’une langue à l’autre, d’un type de document à l’autre, et d’une période temporelle à l’autre.

HIPE-2022 propose deux tâches :

1. Reconnaissance et classification des entités nommées
2. Liaison d’entités

Données

Les jeux de données HIPE-2022 sont basés sur six jeux de données assemblés et préparés pour la campagne, composés de journaux historiques et de commentaires classiques en plusieurs langues et couvrant environ 200 ans. Ces jeux de données proviennent de divers projets européens sur le patrimoine culturel; certains sont déjà publiés, d’autres le sont pour la première fois pour HIPE-2022.

Tracks et Challenges

Afin de tenir compte des différentes dimensions qui caractérisent HIPE-2022 (tâches, langues, types de documents, typologies d’entités) et de favoriser la recherche sur la transférabilité des systèmes, l’évaluation est organisée autour de “tracks” et “challenges”.

Un “track” est un triplet spécifique composé de [dataset-language-tâche] et un “challenge” est un ensemble prédéfini de tracks (un challenge peut être vu comme une sorte de championnat avec plusieurs tracks).

HIPE-2022 évalue spécifiquement 3 challenges :

1. Multilingual Newspaper Challenge : jeux de données de journaux uniquement, 2 langues minimum ;
2. Multilingual Classical Commentary Challenge : jeux de données de commentaires classiques uniquement, 3 langues minimum ;
3. Global Adaptation Challenge : jeux de données incluant deux types de documents, 2 langues minimum.

Pour en savoir plus

• Site internet de HIPE-2022 : https://hipe-eval.github.io/HIPE-2022/
• Inscription (jusqu’au 22 Avril) : https://clef2022-labs-registration.dei.unipd.it/
• Données et répertoire GitHub HIPE-2022 : https://github.com/hipe-eval/HIPE-2022-data
• Guide de participation : https://doi.org/10.5281/zenodo.6045662
• Workshop final : durant la conférence CLEF en Septembre 2022 à Bologne, Italie.
• Twitter: #HIPE2022 / @clef_initiative / #clef2022

Notes

1. Voir : Guillaume Chiron, Antoine Doucet, Mickaël Coustaty, Jean-Philippe Moreux, « ICDAR2017 Competition on Post-OCR Text Correction », 2017 14th IAPR International Conference on Document Analysis and Recognition (ICDAR), Nov 2017, Kyoto, France, p. 1423-1428, url : <https://tel.archives-ouvertes.fr/L3I/hal-03025499v1>. [↩]
2. Voir : Christophe Rigaud, Antoine Doucet, Mickaël Coustaty, Jean-Philippe Moreux, « ICDAR 2019 Competition on Post-OCR Text Correction », 15th International Conference on Document Analysis and Recognition, Sep 2019, Sydney, Australia, p. 1588-1593, url : <https://hal.archives-ouvertes.fr/hal-02304334>. [↩]

---

---