On vit quand même un moment d’anthologie. Un compte qui date d’il y a 5 jours fait la promotion, sans se cacher, d’un outil payant qui prétend être ultra-fort pour détecter du texte IA et tout les journalistes sautent sur un post d’un compte random, donc prenons un peu de hauteur ⬇️
Tout le monde passe juste à côté du fait qu’il est absolument impossible d’avoir un système omniscient, infaillible et généralisable de détection de texte IA.
D’autant que Pangram, dans leur technical report, explique eux-mêmes les limitations de leurs tests, qui les arrangent bien.
Et ils admettent qu’il est très difficile de détecter du texte humain modifié par IA, et inversement, ce qui est littéralement ce que font 99 % des gens qui utilisent l’IA au quotidien.
Et toute la nuance elle est là.
On peut analyser des tournures typiques , des répétitions etc. Mais la réalité c’est que ces outils peuvent donner une direction à apprécié avec du relativisme, soulevé des questions MAIS au grand jamais une réponse définitive ou une preuve de culpabilité comme c’est le cas depuis quelques jours pour un livre.
Puis, même si cette personne s’est aidée de l’IA pour écrire son livre ? Et que les gens l’apprécient ? C’est quoi le problème ?
L’IA va continuer à être un outil quotidien pour de plus en plus de personnes, évidemment que dans la littérature elle va aussi être de plus en plus présente dans toutes les phases d’écriture.
Mais ça, c’est un autre sujet.
D’un point de vue technique, retenez juste que non : ça n’existe pas, un détecteur d’IA parfait.
Les chiffres avancés s’inscrivent avant tout, et toujours, dans un horizon marketing, sans étude claire indépendante et documentée (NB : juste un technical report n’en fait pas partie, par exemple le corpus de 1M de texte d’anglais qui a des faux positif proche de 0 de Pangram , on sait même pas ce que sait -lol-).
Par contre, la littérature scientifique sur les problèmes de détection de texte IA « in the wild », ça, c’est ultra-documenté. Il faut commencer par lire ça avant d’aller raconter n’importe quoi partout pour nuancé son propos.
Chacun de mes tweets, par exemple, est relu par une IA. Ça en fait un texte IA ? Non.
Il faut vraiment arrêter la démagogie et la chasse aux sorcières, et surtout arrêter de croire ce que racontent des comptes random.
Mais en tout cas bravo pour avoir offert à un outil une campagne de pub gratuite :).
Et aux journalistes : faites un vrai travail de recherche et d’investigation. Un technical report et le compte X d’un random, ce n’est pas suffisant surtout quand les posts qui démontrent les limites -logiques- de ce type d’outils se multiplient.
Pangram n’est pas fiable, mais, comme tout le monde répète qu’il l’est, il finit par le devenir aux yeux de tous.
Je lui ai soumis un texte inédit de Balzac. Il s'agit de tout un paragraphe de « Le Lys dans la vallée » figurant dans le manuscrit, mais absent de l’édition originale comme des éditions suivantes. Il était donc impossible à Pangram d’aller retrouver ce passage sur Internet.
Résultat de sa soi-disant analyse : 100 % IA.
Il faut donc en conclure que Balzac a utilisé l’intelligence artificielle pour écrire ce chef-d’œuvre. Je viens d'envoyer, avec preuves à l'appui, un courriel aux concepteurs de Pangram. Une véritable fumisterie, mais qui rapporte gros.