Appariement d'images d'oeuvres d'Art avec descriptions textuelles variées - GREYC image Accéder directement au contenu
Communication Dans Un Congrès Année : 2024

Appariement d'images d'oeuvres d'Art avec descriptions textuelles variées

Résumé

Text-image matching generally focuses on textual descriptions [2]. These methods do not take into account complex scenarios where the text contains non-visual information. In this study, we compare the performance of CLIP [9] on visual, contextual, and mixed texts. We show that the type of text influences the performance of multimodal search tasks. Visual text yields better results in image retrieval, while mixed text is more effective for text retrieval.
L’appariement texte-image se concentre généralement sur des descriptions textuelles [2]. Cependant, ces méthodes ne prennent pas en compte les scénarios complexes où le texte contient des informations non visuelles. Dans cette étude, nous comparons les performances de CLIP [9] sur des textes visuels, contextuels et mixtes. Nous montrons que le type de texte influence les performances des tâches de recherche multimodales. Un texte visuel est plus efficace pour la recherche d’images, tandis qu’un texte mixte est plus facile à retrouver dans le cas d’une recherche de texte
Fichier principal
Vignette du fichier
Papier_CAp.pdf (94 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04618413 , version 1 (20-06-2024)

Identifiants

  • HAL Id : hal-04618413 , version 1

Citer

Raphaëlle Karine Lemaire, Alexis Lechervy, Youssef Chahir. Appariement d'images d'oeuvres d'Art avec descriptions textuelles variées. Joint CAP and RFIAP 2024 Conferences, Université de Lille, Jul 2024, Lille, France. ⟨hal-04618413⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More