ORFIM

Le projet ORFIM consiste en la conception et la réalisation d’un outil informatique de recherche des images permettant la prise en charge simultanée de la description textuelle et du contenu visuel des images. Il vise à la création d’un moteur de recherche basé sur des ontologies et la reconnaissance des formes visuelles grâce à l’apport de l’EA 4509, Paris IV et du ISIR, UMR7222, UPMC (dorénavant Sorbonne Universités).

En effet, les bases de données visuelles en SHS sont habituellement accessibles par des requêtes qui se fondent sur la description textuelle (et les mots-clés) de chaque image opérée par une personne. La description n’est rien d’autre que le transcodage des perceptions visuelles en un langage capable d’exprimer le contenu essentiel de l’objet qu’on a devant nos yeux.

Différentes méthodes ont été proposées au fil du temps pour la description d’une image. Chaque fois un souci essentiel dirigeait les recherches : proposer une description objective de l’objet d’étude en utilisant soit le langage naturel, soit le langage documentaire, ou encore le langage scientifique. Toutefois, et malgré les progrès effectués ces dernières décennies, notamment grâce au développement de systèmes de classification (et description) sophistiqués, tel que ICONCLASS (Straten, 1994), les recherches (résultats des requêtes) ne sont pas toujours pertinentes. Les annotations textuelles liées aux images ne fournissent en effet que des options de recherche limitées. La raison principale réside dans le fait que les descriptions demeurent arbitraires et qu’une indexation manuelle complète est impossible (Lazaris, 1996).

Pour rendre les bases de données d’images accessibles de manière plus rapide, plus fiable et plus détaillée, l’indexation basée sur la sémantique est alors nécessaire. Par l’intermédiaire des outils de recherche d’information (RI) sémantiques, employés grâce à l’ontologie, la recherche au sein d’une base de données visuelles peut gagner considérablement en précision. Toutefois, on se retrouve toujours face aux limites du transfert d’un langage (verbal) à un autre (visuel). C’est pourquoi, l’apport des ontologies doit-il être complété par un algorithme d’indexation d’image numérisée, apte à extraire automatiquement des index visuels dans les images.

Le projet ORFIM consiste donc en un déploiement de ces deux systèmes. Il s’agit ici d’une première dont l’aboutissement pourrait bouleverser notre façon de travailler et apporterait des performances inégalées dans la recherche scientifique à partir de moissons d’images, qui seront de plus en plus foisonnantes compte tenu des décisions européennes de partages de données.

Contexte

Ce projet, inscrit dans le domaine des Humanités numériques (Digital Humanities), est né de la rencontre d’enseignants-chercheurs et de chercheurs dans le cadre des Instituts créés par Sorbonne-Universités (OPUS, Collegium Musicae …). En comparant leurs travaux de constitution de bases de données pour l’étude des représentations dans des manuscrits byzantins, arabes et latins du Moyen Age, les chercheurs ont pu constater qu’il manquait un outil important pour la poursuite des recherches en iconographie médiévale : la création d’un algorithme capable de reconnaître des détails dans des situations aussi différentes que les actes médicaux ou musicaux et qui permettrait ainsi, non seulement, de constituer des séries iconographiques inédites, mais aussi de comprendre des représentations dans les manuscrits médiévaux.

Méthode

L’objectif principal d’ORFIM est de créer un moteur de recherche de documents visuels combinant un système d’indexation automatique d’images et un système d’ontologies qui soit en mesure de mener des recherches diachroniques, synchroniques et sérielles, les plus pertinentes et efficientes possibles.

Au-delà donc du transfert technologique qui sera opéré pour le dialogue des bases de données, sera développée une méthode de travail commune devant déboucher sur :

  1. le développement d’un algorithme d’indexation, qui constitue une technologie inédite dans l’analyse des images médiévales ;
  2. le développement d’ontologies pour la modélisation et l’inférence iconographiques.

L’indexation d’images iconographiques

L’indexation d’images permet d’extraire des motifs visuels élémentaires des images. Ceux-ci servent alors à décrire les images, à l’instar des mots clés en ontologie. Ainsi, deux images possédant des motifs visuels similaires seront-elles considérées comme similaires. La difficulté majeure réside dans la définition automatique des motifs qui devront à la fois être très spécifiques (très précis) pour différentier deux images différentes et très génériques pour rassembler des images différentes aux contenus similaires.

Indexation conceptuelle en utilisant des ontologies

L’indexation est un point fondamental pour qu’un tel moteur de recherche puisse, à partir d’une requête d’utilisateur, retourner comme résultat une liste pertinente de documents. Dans ce projet, nous proposons d’indexer automatiquement des documents iconographiques en utilisant une approche mixte basée sur (i) l’utilisation d’ontologies pour améliorer l’indexation textuelle et (ii) des techniques de reconnaissance de formes dans les images elles-mêmes. Ainsi, cette approche a deux avantages : d’une part, nous considérons les caractéristiques propres des images grâce à la recherche automatique d’index visuels et, d’autre part, nous visons une indexation conceptuelle des descriptions textuelles des images grâce aux ontologies.

Un des problèmes actuels de l’indexation textuelle est qu’elle ne considère pas certains phénomènes linguistiques tels que la synonymie, l’antonymie, l’homonymie ou la paronymie. Une solution envisageable est l’indexation conceptuelle en utilisant des ontologies. Ainsi, les images seront indexées par des concepts présents dans chacune d’entre elles et par des relations existantes entre ces concepts.  L’apport des ontologies dans le cadre d’une indexation conceptuelle permet de chercher des images en utilisant, par exemple : i) une autre terminologie que celle présente dans les descriptions textuelles (recherche par synonymes) ; ii) une proximité sémantique (recherche de métonymies) ; ou bien iii) la désambiguïsation de notions différentes (recherche d’homonymes).

La recherche ontologique visera ainsi à approfondir le travail sur l’application à l’iconographie des modèles récents issus du web sémantique.

Corpus d’images

Les premiers tests de ce projet se feront sur quelques exemples ciblés, tirés des bases de données issues des projets « Illustrations of Medical Medieval Manuscripts » (resp. S. Lazaris) et « Musiconis/Musicomed » (resp. Fr. Billiet). Cette première phase d’expérimentations permettra d’évaluer les performances de l’ontologie combinée à l’indexation d’images. Chaque liste de résultats sera présentée à un chercheur qui validera ou rejettera la liste, selon des critères explicités au programme informatique. Celui-ci affinera ainsi sa capacité à comprendre les requêtes (intelligence artificielle) et ses subtilités.

 

Responsables:

S. Lazaris (CNRS)

Fr. Billiet (Sorbonne Université)