L’outil de génération de texte identifie et remplace des informations spécifiques dans les phrases tout en conservant la grammaire et le style de l’homme – ScienceDaily

Un système créé par les chercheurs du MIT pourrait être utilisé pour mettre à jour automatiquement les incohérences factuelles dans les articles Wikipedia, réduisant ainsi le temps et les efforts consacrés par les éditeurs humains qui effectuent désormais la tâche manuellement.

Wikipedia comprend des millions d’articles qui ont constamment besoin de modifications pour refléter de nouvelles informations. Cela peut impliquer des extensions d’article, des réécritures majeures ou des modifications plus courantes telles que la mise à jour des numéros, des dates, des noms et des emplacements. Actuellement, les humains du monde entier donnent de leur temps pour effectuer ces modifications.

Dans un article présenté à la conférence AAAI sur l’intelligence artificielle, les chercheurs décrivent un système générateur de texte qui identifie et remplace des informations spécifiques dans des phrases Wikipédia pertinentes, tout en gardant un langage similaire à la façon dont les humains écrivent et éditent.

L’idée est que les humains taperaient dans une interface une phrase non structurée avec des informations mises à jour, sans avoir à se soucier du style ou de la grammaire. Le système rechercherait alors Wikipédia, localiserait la page appropriée et la phrase périmée, et la réécrirait de manière humaine. À l’avenir, selon les chercheurs, il est possible de créer un système entièrement automatisé qui identifie et utilise les dernières informations provenant du Web pour produire des phrases réécrites dans des articles Wikipedia correspondants qui reflètent des informations mises à jour.

“Il y a tellement de mises à jour constamment nécessaires pour les articles Wikipédia. Il serait avantageux de modifier automatiquement des portions exactes des articles, avec peu ou pas d’intervention humaine”, explique Darsh Shah, doctorant au Laboratoire d’informatique et d’intelligence artificielle (CSAIL). ) et l’un des auteurs principaux. “Au lieu de centaines de personnes travaillant sur la modification de chaque article Wikipédia, vous n’en aurez besoin que de quelques-uns, car le modèle aide ou le fait automatiquement. Cela offre des améliorations spectaculaires en termes d’efficacité.”

Il existe de nombreux autres bots qui effectuent des modifications automatiques de Wikipedia. En règle générale, ceux-ci travaillent à atténuer le vandalisme ou à déposer des informations étroitement définies dans des modèles prédéfinis, explique Shah. Le modèle des chercheurs, dit-il, résout un problème d’intelligence artificielle plus difficile: étant donné une nouvelle information non structurée, le modèle modifie automatiquement la phrase d’une manière humaine. “L’autre [bot] les tâches sont davantage basées sur des règles, alors que c’est une tâche qui nécessite de raisonner sur des parties contradictoires en deux phrases et de générer un texte cohérent “, dit-il.

Le système peut également être utilisé pour d’autres applications générant du texte, explique Tal Schuster, co-auteur principal et étudiant diplômé de la CSAIL. Dans leur article, les chercheurs l’ont également utilisé pour synthétiser automatiquement des phrases dans un ensemble de données de vérification des faits populaire qui a permis de réduire le biais, sans collecter manuellement des données supplémentaires. “De cette façon, les performances s’améliorent pour les modèles de vérification automatique des faits qui s’entraînent sur l’ensemble de données pour, par exemple, la détection de fausses nouvelles”, explique Schuster.

Shah et Schuster ont travaillé sur le document avec leur conseillère académique Regina Barzilay, le professeur Delta Electronics de génie électrique et d’informatique et professeur à CSAIL.

Masquage de neutralité et fusion

Derrière le système, il y a pas mal d’ingéniosité génératrice de texte pour identifier des informations contradictoires entre, puis fusionner, deux phrases distinctes. Il prend en entrée une phrase “obsolète” d’un article Wikipedia, plus une phrase “réclamation” distincte qui contient les informations mises à jour et contradictoires. Le système doit automatiquement supprimer et conserver des mots spécifiques dans la phrase obsolète, sur la base des informations contenues dans la revendication, pour mettre à jour les faits tout en conservant le style et la grammaire. C’est une tâche facile pour les humains, mais nouvelle dans l’apprentissage automatique.

Par exemple, supposons qu’une mise à jour de cette phrase soit nécessaire (en gras): “Le Fonds A considère que 28 de leurs 42 participations minoritaires dans des sociétés opérationnelles sont d’une importance particulière pour le groupe.” La phrase de réclamation contenant des informations mises à jour peut se lire: “Le fonds A considère que 23 des 43 participations minoritaires sont importantes.” Le système localiserait le texte Wikipédia correspondant au «Fonds A», sur la base de la revendication. Il supprime ensuite automatiquement les numéros obsolètes (28 et 42) et les remplace par les nouveaux numéros (23 et 43), tout en conservant la phrase exactement la même et grammaticalement correcte. (Dans leur travail, les chercheurs ont exécuté le système sur un ensemble de données de phrases Wikipedia spécifiques, pas sur toutes les pages Wikipedia.)

Le système a été formé sur un ensemble de données populaire qui contient des paires de phrases, dans lesquelles une phrase est une revendication et l’autre est une phrase Wikipédia pertinente. Chaque paire est étiquetée de trois manières: «d’accord», ce qui signifie que les phrases contiennent des informations factuelles correspondantes; «en désaccord», ce qui signifie qu’ils contiennent des informations contradictoires; ou “neutre”, où il n’y a pas assez d’informations pour l’une ou l’autre étiquette. Le système doit faire en sorte que toutes les paires en désaccord soient d’accord, en modifiant la phrase obsolète pour qu’elle corresponde à la revendication. Cela nécessite l’utilisation de deux modèles distincts pour produire la sortie souhaitée.

Le premier modèle est un classificateur de vérification des faits – pré-formé pour étiqueter chaque paire de phrases comme «d’accord», «en désaccord» ou «neutre» – qui se concentre sur les paires en désaccord. Un module “masque de neutralité” personnalisé qui fonctionne en conjonction avec le classificateur identifie les mots de la phrase obsolète qui contredisent la revendication. Le module supprime le nombre minimal de mots requis pour “maximiser la neutralité” – ce qui signifie que la paire peut être étiquetée comme neutre. C’est le point de départ: si les phrases ne sont pas d’accord, elles ne contiennent plus d’informations manifestement contradictoires. Le module crée un “masque” binaire sur la phrase obsolète, où un 0 est placé sur les mots qui doivent probablement être supprimés, tandis qu’un 1 va au-dessus des gardiens.

Après le masquage, un nouveau cadre à deux encodeurs-décodeur est utilisé pour générer la phrase de sortie finale. Ce modèle apprend des représentations compressées de la revendication et de la phrase obsolète. En travaillant conjointement, les deux encodeurs-décodeurs fusionnent les mots différents de la revendication, en les glissant dans les emplacements laissés vacants par les mots supprimés (ceux couverts de 0) dans la phrase obsolète.

Dans un test, le modèle a obtenu un score plus élevé que toutes les méthodes traditionnelles, en utilisant une technique appelée «SARI» qui mesure la façon dont les machines suppriment, ajoutent et conservent les mots par rapport à la façon dont les humains modifient les phrases. Ils ont utilisé un ensemble de données avec des phrases Wikipedia éditées manuellement, que le modèle n’avait jamais vues auparavant. Comparé à plusieurs méthodes traditionnelles de génération de texte, le nouveau modèle était plus précis pour effectuer des mises à jour factuelles et sa sortie ressemblait plus à l’écriture humaine. Dans un autre test, les humains en crowdsourcing ont évalué le modèle (sur une échelle de 1 à 5) en fonction de la façon dont ses phrases de sortie contenaient des mises à jour factuelles et correspondaient à la grammaire humaine. Le modèle a obtenu des scores moyens de 4 pour les mises à jour factuelles et de 3,85 pour la grammaire correspondante.

Supprimer les biais

L’étude a également montré que le système peut être utilisé pour augmenter les ensembles de données afin d’éliminer les biais lors de la formation des détecteurs de “fausses nouvelles”, une forme de propagande contenant de la désinformation créée pour induire les lecteurs en erreur afin de générer des vues sur le site Web ou de guider l’opinion publique. Certains de ces détecteurs s’entraînent sur des ensembles de données de paires de phrases d’accord-en désaccord pour «apprendre» à vérifier une affirmation en la faisant correspondre à des preuves fournies.

Dans ces paires, l’allégation correspondra à certaines informations avec une phrase de “preuve” de Wikipédia (d’accord) ou elle sera modifiée par les humains pour inclure des informations contradictoires avec la phrase de preuve (en désaccord). Les modèles sont formés pour signaler les allégations en réfutant les preuves comme étant «fausses», ce qui peut être utilisé pour aider à identifier les fausses nouvelles.

Malheureusement, de tels ensembles de données comportent actuellement des biais involontaires, explique Shah: “Au cours de la formation, les modèles utilisent un certain langage des affirmations écrites humaines comme des phrases” à donner “pour les marquer comme fausses, sans trop s’appuyer sur la phrase de preuve correspondante. Cela réduit la précision du modèle lors de l’évaluation d’exemples concrets, car il n’effectue pas de vérification des faits. “

Les chercheurs ont utilisé les mêmes techniques de suppression et de fusion de leur projet Wikipedia pour équilibrer les paires en désaccord sur l’ensemble de données et aider à atténuer le biais. Pour certains couples «en désaccord», ils ont utilisé les fausses informations de la phrase modifiée pour régénérer une fausse phrase à l’appui de «preuves». Certaines des phrases de cadeaux existent alors dans les phrases «d’accord» et «en désaccord», ce qui oblige les modèles à analyser plus de fonctionnalités. En utilisant leur ensemble de données augmenté, les chercheurs ont réduit le taux d’erreur d’un détecteur de fausses nouvelles populaire de 13%.

“Si vous avez un biais dans votre ensemble de données et que vous trompez votre modèle en ne regardant qu’une phrase dans une paire en désaccord pour faire des prédictions, votre modèle ne survivra pas au monde réel”, explique Shah. “Nous faisons en sorte que les modèles examinent les deux phrases dans toutes les paires d’accord-désaccord.”

Source

A propos admin

Découvrez également

Les étudiants devraient-ils encore être notés au moment de Covid-19?

theodp écrit: Le LA Times rapporte que les controverses sur le classement bouillonnent dans les …

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *