This is insane. A novel recently published in France was hailed by the critics, won a literary prize and was expected to win more, but someone put it through
@pangram and it turns out that it was almost entirely generated by AI 🙃
People will say that it shows that AI is not as good as human writers even for literary work, but to be honest, I doubt that's the explanation. I had a look at some passages, although you may think that I only say that with the benefit of hindsight, it seems very poorly written and obviously AI.
I think a more likely explanation is that critics aren't as used as I am to AI style and, perhaps even more importantly, the author is a Haitian refugee and the novel describes his exile, so they were probably inclined to promote it for ideological reasons.
Avez-vous entendu parler de ce roman ? C’est le « phénomène de la rentrée littéraire ». Il est lauréat du Prix Fnac, du Prix Méduse, du Prix Première Plume, fortement pressenti pour le Prix Renaudot, et il est en lice pour les prix Goncourt, Femina, Médicis et Décembre. Ah oui, il est aussi en cours de traduction dans 20 langues.
Eh bien selon Pangram, ce roman est rédigé presque intégralement par une Intelligence Artificielle. Nous avons testé plusieurs passages, à divers endroits du manuscrit, pour presque toujours le même résultat : 100% IA (cf les deux premiers chapitre dans le tweet ci-dessous).
Rappelons que Pangram est de loin le détecteur d’IA le plus fiable : son taux de faux positifs est de 0,0041%, soit environ un texte humain sur 24 400. Sur 996 273 textes antérieurs à 2022, Pangram en classe uniquement 14 (0,0014%) comme étant partiellement écrits par l’IA.
La probabilité que vingt passages d’un même livre (et il y a bien plus de 20 signalements dans le roman) soient identifiés à tort par Pangram comme étant produits par une IA s’élève donc à 0,0041% puissance 20, soit 0,1802 × 10⁻⁸⁵ %, c’est à-dire 0 suivi de 85 zéros après la virgule.
N’aurait-il pas été plus honnête que l’auteur crédite son co-auteur ?