Analyse automatique de textes littéraires et scientifiques : présentation et résultats du défi fouille de texte DEFT2014

摘要

Dans cet article, nous présentons l'édition 2014 du défi fouille de texte (DEFT) consacrée à l'analyse de textes littéraires (corpus Short Edition) et scientifiques (archives TALN) au travers de quatre taches : catégoriser le genre littéraire d'une ?uvre, évaluer la qualité littéraire, déterminer l'aspect consensuelle d'une ?uvre auprès des relecteurs, et identifier la session d'appartenance d'un article scientifique dans une conférence. Afin d'évaluer les résultats des participants, nous avons utilisé le gain cumulé normalisé (NDCG, tache 1), l'exactitude en distance relative à la solution moyenne (EDRM, tache 2), la précision (tache 3), et la correction (tacheé4). Les résultats obtenus par les participants sont fortement contrastés et témoignent de la difficulté de chacune des taches, bien qu'un système ait obtenu une performance maximale dans la tache 4.