HATS : Un jeu de données intégrant la perception humaine appliquée à l'évaluation des métriques de transcription de la parole - Ecole Centrale de Nantes Access content directly
Conference Papers Year :

HATS : Un jeu de données intégrant la perception humaine appliquée à l'évaluation des métriques de transcription de la parole

Jane Wottawa
Michael Rouvier
  • Function : Author
  • PersonId : 1258085
Teva Merlin

Abstract

Traditionnellement, les systèmes de reconnaissance automatique de la parole (RAP) sont évalués sur leur capacité à reconnaître correctement chaque mot contenu dans un signal vocal. Dans ce contexte, la mesure du taux d'erreur-mot est la référence pour évaluer les transcriptions vocales. Plusieurs études ont montré que cette mesure est trop limitée pour évaluer correctement un système de RAP, ce qui a conduit à la proposition d'autres variantes et d'autres métriques. Cependant, toutes ces métriques restent orientées "système" alors même que les transcriptions sont destinées à des humains. Dans cet article, nous proposons un jeu de données original annoté manuellement en termes de perception humaine des erreurs de transcription produites par divers systèmes de RAP. 143 humains ont été invités à choisir la meilleure transcription automatique entre deux hypothèses. Nous étudions la relation entre les préférences humaines et diverses mesures d'évaluation pour les systèmes de RAP, y compris les mesures lexicales et celles fondées sur les plongements de mots.
Fichier principal
Vignette du fichier
TALN_2023___HATS___un_jeu_de_données_intégrant_la_perception_humaine_appliqué_à_l_évaluation_des_métriques_de_RAP.pdf (132.12 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-04111840 , version 1 (31-05-2023)

Identifiers

  • HAL Id : hal-04111840 , version 1

Cite

Thibault Bañeras-Roux, Jane Wottawa, Michael Rouvier, Teva Merlin, Richard Dufour. HATS : Un jeu de données intégrant la perception humaine appliquée à l'évaluation des métriques de transcription de la parole. Conférence sur le Traitement Automatique des Langues Naturelles, Association pour le Traitement Automatique des Langues (ATALA); Association francophone de Recherche d’Information et Applications (ARIA), Jun 2023, Paris, France. ⟨hal-04111840⟩
21 View
6 Download

Share

Gmail Facebook Twitter LinkedIn More