Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Comprendre les erreurs dans l’annotation automatique d’OFROM

Le corpus OFROM s’appuie sur l’outil d’annotation automatique DisMo (Christodoulides 2014, 2015, 2018) pour l’étiquetage de ses “mots” en part-of-speech (PoS), c’est-à-dire en catégories morpho-syntaxiques telles que le verbe, le pronom, etc.

L’annotation automatique commet des erreurs : on s’attend en général à ce que 5-10% des étiquettes morpho-syntaxiques s’avèrent fausses. Pour le corpus OFROM, il n’y a jamais vraiment eu l’occasion d’évaluer non seulement le taux d’erreurs, mais aussi les causes de ces erreurs (et, à terme, un moyen de les réduire ou d’au moins les signaler).

Continuer la lecture de « Comprendre les erreurs dans l’annotation automatique d’OFROM »

Quelles annotations attendre d’un corpus ?

La question qui se pose, pour un corpus de français oral, est de savoir ce qui doit être mis à disposition du chercheur pour permettre ses analyses. Les chercheurs en interaction ont besoin d’enregistrements vidéo ; la phonologie requiert une bonne qualité sonore ; les sociolinguistes dépendent d’un jeu de métadonnées suffisant ; la linguistique computationnelle nécessite une certaine quantité de données.

La question des annotations peut être abordée sous cet angle.

Continuer la lecture de « Quelles annotations attendre d’un corpus ? »

La question des formats pour les corpus

La linguistique de corpus, pour l’oral, est confrontée à un problème technique : une multiplicité d’outils développés isolément au fil des ans a donné lieu à une multiplicité de formats pour représenter nos données (transcriptions, annotations, …).

Le problème nous est si familier qu’il nous semble normal. À l’échelle individuelle ou d’un petit groupe, il peut paraître bénin.

L’atelier DoReCo de septembre 2019 à Berlin a été l’occasion de revenir sur le problème des formats à l’échelle d’une communauté, échelle à laquelle les solutions ad hoc deviennent inopérantes. J’aimerais ici brièvement détailler le problème et les trois solutions générales adoptées pour le résoudre, à savoir : (1) le “tout-en-un”, (2) la conversion de formats et (3) le format commun.

Continuer la lecture de « La question des formats pour les corpus »

Calculer l’accord inter-annotateurs sur corpus oral

Bien qu’il ne s’agisse pas d’une question touchant directement aux corpus eux-mêmes (ou indirectement seulement, pour la gestion/valorisation des annotations faites sur ce corpus), l’accord inter-annotateurs revient constamment dans mon travail, du projet SegCor au projet DoReCo, et je voulais donc partager mon expérience à ce sujet.

Plus précisément, j’ai été fréquemment confronté au problème posé par la comparaison des segmentations, et je voulais présenter les trois manières dont ce problème a été traité à travers ces projets.

Continuer la lecture de « Calculer l’accord inter-annotateurs sur corpus oral »