En résumé
- Des chercheurs de l’Université du Kansas atteignent une précision de 99 % dans la détection des écrits académiques générés par l’IA.
- La méthode se concentre sur les caractéristiques spécifiques de l’écriture académique pour identifier l’IA.
- L’outil détecte le contenu de l’IA avec une grande précision, reproductible pour différentes applications académiques.
Si vous vous êtes habitué à l’idée que votre sympathique chatbot IA, ChatGPT, rédige votre thèse finale, il est temps de devenir réel. Alors que l’écriture générée par l’IA a impressionné les masses, des chercheurs de l’Université du Kansas viennent d’augmenter les enjeux en développant une méthode avec une précision de plus de 99 % pour identifier l’écriture académique scientifique générée par l’IA.
La recherche, publiée dans la revue scientifique Rapports de celluleExpliquez comment ils ont réussi à le faire.
« La nécessité de discriminer l’écriture humaine de l’IA est désormais critique et urgente, en particulier dans des domaines tels que l’enseignement supérieur et l’écriture universitaire, où l’IA n’avait pas été auparavant une menace ou un contributeur significatif à la paternité », ont écrit les chercheurs.
Les tentatives précédentes pour détecter le contenu généré par l’IA ont eu plus ou moins de succès. Les propres efforts d’OpenAI, par exemple, n’ont pas été fiables. Mais ces outils de détection se sont traditionnellement concentrés sur un large éventail de styles d’écriture, plutôt que sur le ton et le but spécifiques qui caractérisent l’écriture académique scientifique.
En revanche, la méthode d’équipe a été affinée pour l’écriture académique. En comparant 64 perspectives écrites par des humains et 128 articles générés par ChatGPT sur les mêmes sujets de recherche, ils ont identifié des marqueurs clés de l’écriture par l’IA.
Par exemple, la tendance de ChatGPT à utiliser les mots « autres » et « chercheurs » au lieu de mots comme « cependant », « mais » et « bien que » s’est avéré être un indice révélateur. De plus, la prédilection des humains pour les structures de paragraphes complexes, les longueurs de phrases variées et le nombre de mots changeant était une autre empreinte digitale manquante de l’écriture de l’IA.
Lorsque le modèle a été mis à l’épreuve, il a pu identifier les articles générés par l’IA de ceux écrits par l’homme avec un taux de précision de 100 % et distinguer les paragraphes écrits par l’IA dans les articles humains avec un taux de 92 %. Dans des tests similaires, le modèle de l’équipe a même surpassé un détecteur de texte AI existant sur le marché.
Selon un article soumis par Cell à Techxplore, la prochaine étape consiste à repousser les limites de l’applicabilité du modèle, en le testant sur de plus grands ensembles de données et différents types d’écritures scientifiques universitaires. Reste à savoir si le modèle conservera son efficacité à mesure que ChatGPT et ses semblables deviendront plus sophistiqués.
De plus, les utilisateurs pourraient potentiellement régler les grands modèles de langage open source (LLM) et manipuler le langage pour échapper à cette méthode et à d’autres méthodes de détection. Ce serait une autre course aux armements technologiques : une entre les « jailbreakers » cherchant à créer les outils d’IA les plus avancés et les chercheurs cherchant à développer les meilleurs détecteurs de contenu généré par l’IA.
Mais cet outil est-il disponible pour les éducateurs à utiliser dans le travail des élèves ?
Snub dit que le modèle n’est pas encore complètement développé. Cependant, ses méthodes peuvent être facilement reproduites pour différentes applications.
En attendant, rappelez-vous : avant de demander à ChatGPT de « rédiger ma thèse », gardez à l’esprit que votre ami IA pourrait être plus prévisible que vous ne le pensez, il est donc préférable de faire vos propres recherches (d’emplois). En ce qui concerne ChatGPT, il est peut-être temps de retourner à l’école d’IA pour quelques leçons de nuances et de variété.