Thélyson Orélirn & l’IA - Et alors ? #ia #litterature #philosophie #thelysonorelien #livre

J'ai voulu tester Pangram qui prétend détecter les textes générés par IA (comme le dernier Goncourt). Je lui a filé un texte que j'ai écrit il y a 10 ans. Limite je suis vexé en fait.

Avez-vous entendu parler de ce roman ? C’est le « phénomène de la rentrée littéraire ». Il est lauréat du Prix Fnac, du Prix Méduse, du Prix Première Plume, fortement pressenti pour le Prix Renaudot, et il est en lice pour les prix Goncourt, Femina, Médicis et Décembre. Ah oui, il est aussi en cours de traduction dans 20 langues. Eh bien selon Pangram, ce roman est rédigé presque intégralement par une Intelligence Artificielle. Nous avons testé plusieurs passages, à divers endroits du manuscrit, pour presque toujours le même résultat : 100% IA (cf les deux premiers chapitre dans le tweet ci-dessous). Rappelons que Pangram est de loin le détecteur d’IA le plus fiable : son taux de faux positifs est de 0,0041%, soit environ un texte humain sur 24 400. Sur 996 273 textes antérieurs à 2022, Pangram en classe uniquement 14 (0,0014%) comme étant partiellement écrits par l’IA. La probabilité que vingt passages d’un même livre (et il y a bien plus de 20 signalements dans le roman) soient identifiés à tort par Pangram comme étant produits par une IA s’élève donc à 0,0041% puissance 20, soit 0,1802 × 10⁻⁸⁵ %, c’est à-dire 0 suivi de 85 zéros après la virgule. N’aurait-il pas été plus honnête que l’auteur crédite son co-auteur ?

100 % IA : Internet a découvert la preuve scientifique. Dommage, ce n’en est pas une. 100 % IA. C’est écrit en gros. C’est orange. Il y a un cadran. Il y a même un petit robot. À ce stade, il ne manque pratiquement plus qu’un gyrophare et une voix qui annonce : « COUPABLE ». Et Internet a fait ce qu’Internet sait parfois faire de mieux : arrêter de réfléchir exactement au moment où il faudrait commencer. Depuis quelques heures, C’était ça ou mourir, premier roman de Thélyson Orélien, est accusé d’avoir été écrit presque intégralement par intelligence artificielle. L’affaire est évidemment délicieuse : le livre vient de recevoir le Prix du Roman Fnac, a également remporté le Prix Méduse et le Prix Première Plume, et figure dans plusieurs sélections des grands prix littéraires de l’automne. Bref, si vous cherchez un bidon d’essence médiatique, celui-ci arrive déjà avec les allumettes. L’accusation repose principalement sur Pangram 4, un détecteur de textes générés par IA. Plusieurs passages du roman lui ont été soumis et l’outil les classe massivement comme générés par intelligence artificielle, parfois avec ce spectaculaire « 100 % AI ». Puis arrive l’argument censé fermer définitivement le cercueil : Pangram revendique seulement 0,0041 % de faux positifs, soit environ un texte humain sur 24 000. Vingt passages auraient été détectés. Donc : (0,0041 %) ^ 20 Probabilité microscopique. Rideau. Le jury peut rentrer chez lui. Sauf qu’il y a un petit problème. Enfin, petit… de la taille du Titanic. Le problème n’est pas Pangram Commençons par quelque chose qui risque de décevoir les amateurs de combat de boue : Pangram semble être un très bon détecteur. Pangram 4 revendique effectivement un taux de faux positifs de 0,0041 % sur un million de textes humains anglophones de son benchmark. Pour le français, son modèle card annonce un taux de faux positifs de 0,0026 % sur le corpus FineWeb2 utilisé pour cette évaluation multilingue. Des chercheurs indépendants ont par ailleurs trouvé ses performances remarquablement bonnes. Donc non, l’angle n’est pas : « Pangram est nul, circulez. » Ce serait confortable. Ce serait aussi faux. Le problème apparaît lorsqu’on prend une statistique excellente mesurée sur un benchmark et qu’on la transforme en certificat individuel d’authenticité littéraire, puis qu’on ajoute vingt exposants dessus pour lui donner une petite moustache d’Einstein. Parce que 0,0041 % signifie quelque chose de précis : P(Pangram dit IA | texte humain) Autrement dit : la probabilité que Pangram dise « IA », sachant que le texte est humain. Ce que tout le monde voudrait connaître ici, en revanche, c’est : P(texte humain | Pangram dit IA) Autrement dit : la probabilité que le texte soit humain, sachant que Pangram dit « IA ». Et ces deux probabilités ne sont pas la même chose. C’est une inversion classique des probabilités conditionnelles. Un taux de faux positifs ne vous donne pas directement la probabilité que ce cas particulier soit un faux positif. Pour obtenir cette dernière, il faut notamment connaître les taux de base, la population à laquelle appartient le texte et la façon dont le test se comporte sur cette population. Oui, je sais. C’est beaucoup moins sexy qu’un cadran orange. La statistique est vraiment une rabat-joie. Puis quelqu’un a mis une puissance 20 Et là, nous arrivons à mon passage préféré. Le raisonnement publié consiste essentiellement à dire : puisque Pangram se trompe seulement dans 0,0041 % des cas, la probabilité qu’il se trompe vingt fois est : (0,000041) ^ 20 Mathématiquement, la multiplication est parfaitement faisable. Scientifiquement, il manque juste un détail légèrement gênant : les événements doivent être indépendants. Or nous ne testons pas vingt textes tirés au hasard chez vingt auteurs différents. Nous testons vingt passages du même livre. Même auteur. Même langue. Même style. Même vocabulaire. Même processus éditorial. Même manuscrit. Même époque. Et potentiellement les mêmes caractéristiques qui poussent précisément le classificateur dans une direction. Autrement dit, ces vingt résultats ne sont pas vingt inconnus qui se croisent par hasard dans le métro. Ils sont cousins et arrivent ensemble au repas de Noël. Si Pangram possède un angle mort particulier face au style de ce livre, un seul mécanisme peut expliquer vingt classifications similaires. L’erreur peut être corrélée. Prenons un exemple volontairement idiot. Imaginons un alcootest qui ne donne qu’un faux positif sur 24 000 personnes, mais qui réagit systématiquement à un produit contenu dans un bain de bouche particulier. Jean-Michel utilise ce bain de bouche. Vous le testez vingt fois. Vous obtenez vingt résultats positifs. Pouvez-vous calculer : (1 / 24 000) ^ 20 et annoncer que Jean-Michel possède désormais davantage de chances d’être ivre que le Soleil d’exploser spontanément en forme de Big Mac ? Non. Vous avez peut-être simplement mesuré vingt fois le même problème. Et ici, nous ne connaissons même pas précisément le protocole d’échantillonnage : combien de passages ont été testés au total, comment ont-ils été choisis, quelle longueur avaient-ils, les extraits positifs ont-ils été sélectionnés après analyse ? Ce n’est pas un détail. Cela empêche encore davantage de traiter ces observations comme vingt tirages indépendants propres, déposés délicatement sur une paillasse de laboratoire. Le calcul n’est donc pas faux. C’est l’expérience imaginaire située derrière le calcul qui l’est. Et ce « 100 % IA » ? Il mérite son propre seau de piment Parce que visuellement, lui, il fait un travail extraordinaire. Vous voyez : 100 % Votre cerveau entend : « Nous sommes certains à 100 % que ce texte a été écrit par une intelligence artificielle. » Sauf que ce n’est pas ce que mesure le chiffre. La documentation de Pangram explique que ses pourcentages documentaires correspondent à la fraction du texte attribuée à chaque classe — humain, assisté par IA ou généré par IA. Ainsi, si l’interface indique 100 % IA, cela signifie que l’ensemble du texte soumis a été classé dans cette catégorie par le système. Ce n’est pas une probabilité disant : « il y a 100 % de chances que ChatGPT soit l’auteur ». Encore plus joli : Pangram précise lui-même que son niveau de confiance interne n’est pas une estimation probabiliste calibrée. Donc : 100 % du passage classé IA ≠ certitude de 100 % sur son origine. Ce n’est pas une subtilité sémantique pour emmerder les gens lors d’un dîner. C’est littéralement la différence entre la sortie d’un classificateur et une preuve. Même Pangram explique d’ailleurs dans sa documentation qu’une accusation erronée d’usage de l’IA peut provoquer des dommages réputationnels importants, reconnaît explicitement que son modèle possède un taux d’erreur non nul et appelle à contextualiser correctement ses résultats. À ce stade, le mode d’emploi du lance-flammes est donc plus prudent que certains de ceux qui l’utilisent. C’est quand même savoureux. Même un excellent détecteur peut avoir un mauvais client Et c’est probablement le point le plus intéressant de toute l’histoire. Un classificateur peut être fantastique en moyenne et malgré tout rencontrer une petite catégorie de textes humains qui déclenche systématiquement ses capteurs. Pangram lui-même montre que ses taux de faux positifs ne sont pas identiques selon les domaines. Sur ses propres évaluations, les chiffres observés varient entre écriture académique, poésie, scripts de films, recettes ou documentation technique. Cela ne signifie absolument pas que le roman d’Orélien est un faux positif ; cela signifie simplement que la distribution dont provient le texte compte. Autre subtilité fascinante : un même passage peut recevoir un verdict différent selon qu’il est analysé isolément ou replacé dans un contexte plus long. Alors quand on commence à découper un roman en morceaux, à soumettre les morceaux séparément, puis à exponentier les résultats comme vingt expériences indépendantes… disons que le petit statisticien qui vit au fond de mon cerveau commence à taper sur la vitre. Très fort. « Mais ça ressemble tellement à ChatGPT ! » Ah. La spectrographie littéraire du doigt mouillé. Un commentaire de lecteur reproduit aujourd’hui plusieurs passages censés présenter le fameux « parler ChatGPT » : phrases courtes, métaphores, oppositions, structures du type « pas ceci, mais cela », aphorismes, petites chutes. Très bien. Cela peut nourrir un soupçon. Cela ne constitue toujours pas une preuve de provenance. Et il existe même une ironie magnifique derrière cet argument : les modèles de langage ont appris à produire du texte en observant des montagnes de textes humains. Il serait assez extraordinaire d’en arriver à une époque où un écrivain humain devient suspect parce qu’il écrit comme une machine qui a elle-même appris à écrire en observant des écrivains humains. Le serpent commence tranquillement à digérer sa propre carte graphique. D’ailleurs, une critique publiée avant cette polémique faisait déjà une observation littéraire intéressante sur le roman : elle reprochait justement au texte de vouloir trop souvent produire une image, un aphorisme ou une « phrase à souligner ». C’est peut-être un défaut stylistique. C’est peut-être un signal détecté par Pangram. C’est peut-être de l’IA. C’est peut-être les trois. Mais « je reconnais ChatGPT » reste une impression stylistique, pas une analyse forensique. Vous voulez vraiment enquêter ? Faites une expérience intéressante Thélyson Orélien n’a pas commencé à écrire mardi dernier après avoir souscrit à ChatGPT Plus. Il publiait déjà il y a près de vingt ans. Il a remporté en 2007 un prix pour Les Couleurs de ma terre, publiait des chroniques dès cette époque et possède des textes mis en ligne bien avant l’arrivée des grands modèles génératifs actuels. Un de ses recueils, Le temps qui reste, est notamment paru en 2015. Alors voilà une expérience beaucoup plus intéressante. Prenez des textes en prose suffisamment longs publiés avant 2022, si possible comparables en genre. Constituez un échantillon propre. Passez-les dans exactement la même version de Pangram. Si ses anciens textes ressortent eux aussi massivement « IA », nous venons peut-être de découvrir quelque chose de très important : Pangram reconnaît certaines caractéristiques de la plume d’Orélien comme caractéristiques d’une IA. Et l’accusation actuelle vient de perdre un morceau assez conséquent de sa coque. À l’inverse, si ses anciens textes ressortent systématiquement humains tandis que le roman de 2026 est classé IA de bout en bout, voilà qui devient réellement intéressant. Toujours pas une condamnation. Mais enfin une expérience comparative pertinente. Et si l’on veut aller au-delà ? Il existe quelque chose d’encore plus ancien et beaucoup plus puissant que l’intelligence artificielle. Cela s’appelle : un brouillon. Versions successives du manuscrit. Fichiers Word. Métadonnées. Historique de modifications. Notes. Corrections éditoriales. Courriels avec l’éditeur. Passages réécrits. Manuscrits intermédiaires. La préhistoire, quoi. Mais terriblement efficace. Peut-être que le roman est écrit par IA Et c’est précisément là que cette histoire devient presque comique. Peut-être que l’accusation finira par être vraie. Peut-être que Thélyson Orélien a beaucoup utilisé une IA. Peut-être un peu. Peut-être pas du tout. Je n’en sais rien. Et contrairement à Internet depuis vingt-quatre heures, cette phrase ne me provoque aucune réaction allergique. « Je ne sais pas » est une réponse parfaitement acceptable lorsqu’on ne sait pas. Ce que nous avons aujourd’hui est un détecteur très performant qui émet un signal extrêmement fort. Ce signal mérite d’être examiné. Il justifie des questions. Il peut parfaitement constituer le point de départ d’une enquête. Mais entre : « Pangram classe ces passages comme IA » et : « l’auteur a fait écrire son livre par une IA et aurait dû créditer son coauteur » il existe quelque chose. On appelle ça la démonstration. Et elle ne surgit pas miraculeusement lorsqu’on prend le taux de faux positifs d’un benchmark, qu’on le met à la puissance 20 et qu’on secoue très fort la calculatrice. Le plus beau dans cette histoire n’est donc peut-être même pas de savoir si une intelligence artificielle a écrit C’était ça ou mourir. C’est de voir des milliers d’humains transformer en quelques heures la sortie d’une intelligence artificielle en vérité indiscutable. Pour dénoncer l’usage de l’intelligence artificielle. Franchement… même ChatGPT aurait peut-être trouvé ça un peu gros. 😂

Heureusement que Luc Julia est là pour nous rassurer : "l'IA ne fait rien d'elle-même, c'est qu'un outil" ; "la pause c'est pour éviter leurs IPO qui allaient échouer" ; "Coxon a été envoyé par Anthropic pour faire leur pub, comme Hinton renvoyé par Google" (hein ??). Merci Luc.

IA : ils ne veulent pas arrêter la course. Ils veulent écrire le règlement. En quelques jours, la sécurité de l’intelligence artificielle est passée de Skynet aux audits, aux puces, au droit de la concurrence et à la Chine. Le danger est peut-être réel. Les intérêts économiques aussi. Et, mauvaise nouvelle pour ceux qui aiment les histoires simples : les deux sont parfaitement compatibles. Je vais commencer par rendre à César ce qui appartient à César, ou plus exactement à @bluetouff ce qui appartient à Bluetouff. C’est en lisant sa rafale de tweets sur le soudain amour de Dario Amodei, Sam Altman et quelques autres pour la pédale de frein que j’ai eu envie de gratter. Parce que lorsque plusieurs patrons de laboratoires d’IA commencent simultanément à expliquer qu’il faudrait peut-être ralentir un peu, pendant que David Sacks leur répond en gros « si vos machines vous font peur, éteignez-les vous-mêmes et ne venez pas demander une exemption antitrust », il y a généralement quelque chose d’un peu plus intéressant derrière le communiqué de presse. Et effectivement, il y a quelque chose. Mais ce n’est pas exactement « les milliardaires ont enfin compris que Terminator était un documentaire ». Depuis quelques mois, les modèles dits frontier ne font plus seulement du texte, des images ou du code. Certains systèmes peuvent utiliser des outils, naviguer, exécuter du code, enchaîner des actions sur plusieurs étapes, déléguer des tâches à d’autres agents et chercher des vulnérabilités informatiques. OpenAI et Anthropic ont tous deux rapporté récemment des incidents sérieux lors d’évaluations cyber. Important toutefois : ces incidents ont essentiellement eu lieu dans des environnements de test, parfois mal configurés ou volontairement permissifs. À ce jour, aucune IA n’a conquis Internet, demandé la nationalité suisse ou pris le contrôle du compte bancaire de votre belle-mère. Bref, le risque a changé de nature, mais le bouton rouge « extinction de l’humanité » n’a pas encore été pressé. C’est d’ailleurs là que Yann LeCun a sorti son vieux dossier GPT-2. En 2019, OpenAI avait déjà retenu temporairement la version complète de GPT-2 en expliquant qu’elle pouvait servir à produire de la désinformation et du spam. Quelques mois plus tard, le modèle avait finalement été publié et l’apocalypse promise n’avait pas eu lieu. LeCun en conclut essentiellement qu’on nous a déjà fait le coup. Il marque un point. Mais un demi-point. GPT-2 générait du texte. Il n’avait pas de navigateur, pas d’outils, pas d’accès à des systèmes tiers, pas de mémoire persistante et pas d’armée de petits agents numériques capables de se répartir le boulot pendant que vous cherchez encore où Windows a caché le bouton pour changer d’imprimante. Utiliser GPT-2 pour démontrer que toutes les inquiétudes actuelles sont ridicules revient un peu à expliquer qu’un Boeing 787 n’est pas dangereux parce qu’en 1903 le Flyer des frères Wright n’a tué personne. Donc oui, il existe un sujet de sécurité réel. Et c’est précisément là que les choses deviennent amusantes. Parce que Dario Amodei ne demande pas simplement de mettre un casque aux IA. Il propose des évaluateurs externes ayant un accès très profond aux laboratoires, une coordination entre entreprises, des standards communs, davantage de contrôle sur les puces avancées, sur le cloud, sur les poids des modèles et sur la fameuse « distillation », cette technique permettant grosso modo d’utiliser un gros modèle pour en entraîner un autre. Il évoque également la possibilité pour l’État de bloquer certains modèles jugés trop dangereux. Autrement dit, on vient de passer assez discrètement de : « Comment empêcher une IA de faire une connerie ? » à : « Qui aura le droit de construire la prochaine ? » Et là, David Sacks a sorti le mot qui fâche : cartel. Il faut immédiatement calmer le jeu. Le projet de safe harbor antitrust actuellement discuté aux États-Unis n’est pas une autorisation officielle permettant à OpenAI, Anthropic et Google de se retrouver chaque jeudi dans une cave pour fixer le prix du token autour d’un whisky. Le texte envisagé limite la coopération aux questions de sécurité et exclut explicitement la fixation des prix, le partage des marchés et d’autres comportements anticoncurrentiels classiques. Donc non, on ne peut pas écrire sérieusement : « ils sont en train de légaliser un cartel ». Pas encore, David. Repose doucement le lance-flammes. En revanche, sa question est excellente. Parce qu’une réglementation peut être parfaitement légitime et produire exactement le même effet qu’une excellente douve autour d’un château. Audits obligatoires, sécurisation des poids, équipes de conformité, environnements isolés, signalement des incidents, certifications, armées d’avocats : tout cela coûte extrêmement cher. Pour OpenAI, Google ou Anthropic, c’est un poste budgétaire. Pour une petite société, une université ou un laboratoire open source, cela peut devenir la différence entre « développer un modèle » et « développer un PowerPoint expliquant pourquoi nous aurions aimé développer un modèle ». Et ce phénomène n’a rien d’une théorie complotiste. Les autorités américaines elles-mêmes reconnaissent depuis longtemps que les standards industriels peuvent simultanément améliorer la sécurité et relever les barrières à l’entrée. La partie la plus intéressante arrive ensuite : la Chine. Car le débat sur la sécurité de l’IA est désormais quasiment indissociable de la guerre technologique sino-américaine. Les États-Unis contrôlent déjà l’exportation des puces les plus avancées et de certains équipements permettant de les fabriquer. Désormais, le débat s’étend à l’accès distant aux centres de calcul, aux poids des modèles et à la distillation. Les agences américaines accusent même certains acteurs chinois de tenter de reproduire à grande échelle les capacités des meilleurs modèles occidentaux. Et Amodei ne cache absolument pas son objectif : ralentir certains risques, certes, mais aussi préserver l’avance américaine. La conversation devient alors légèrement surréaliste. « Nous devons sauver l’humanité ensemble. » Très bien. « Mais idéalement avec trois générations de GPU d’avance sur Pékin. » Ah. On comprend mieux pourquoi Donald Trump, lui, n’a pas exactement sauté de joie à l’idée d’appuyer sur le frein. Sa priorité reste simple : les États-Unis doivent gagner la course contre la Chine. Là où Amodei voit une raison de ralentir ensemble, Trump voit surtout le risque que les Américains ralentissent pendant que les autres continuent à courir. Et c’est probablement le cœur du problème. Il serait confortable de pouvoir choisir entre deux histoires. La première : des scientifiques responsables ont découvert un danger et tentent courageusement de sauver le monde. La seconde : des industriels sans scrupules inventent une panique pour verrouiller leur monopole. Malheureusement, le réel a encore décidé d’être pénible. Les risques semblent suffisamment sérieux pour justifier une meilleure supervision. Les laboratoires ont réellement ralenti certaines expérimentations, modifié leurs procédures et renforcé leurs systèmes après des incidents. Mais les mêmes règles qui peuvent rendre l’IA plus sûre peuvent également protéger les entreprises déjà installées, limiter les nouveaux entrants et servir la politique industrielle américaine. Les deux choses peuvent être vraies en même temps. Un incendie peut être réel et le fabricant d’extincteurs peut quand même adorer la nouvelle réglementation incendie. C’est même probablement exactement ce qui est en train de se produire. Et contrairement à ce qu’a laissé penser la chute spectaculaire de certaines valeurs technologiques asiatiques ces derniers jours, ralentir la frontière ne signifie pas nécessairement que le robinet à milliards de l’IA va se fermer. Une partie des dépenses pourrait simplement migrer de l’entraînement des modèles toujours plus gigantesques vers leur utilisation : inférence, agents, cybersécurité, optimisation, mémoire, logiciels et déploiement industriel. Des systèmes plus autonomes pourraient même nécessiter moins de gigantesques expériences d’entraînement tout en générant infiniment plus de requêtes quotidiennes. Les investisseurs pourraient donc découvrir que « ralentir l’IA » ne signifie pas nécessairement dépenser moins. Cela peut simplement signifier déplacer les zéros dans une autre colonne du tableur. Au fond, personne n’est vraiment en train d’arrêter la course à l’intelligence artificielle. Ils installent les barrières de sécurité autour du circuit. Ce qui est probablement une excellente idée. Reste simplement à savoir qui écrit le règlement, qui contrôle les commissaires de course, combien coûte la licence… et si les trois pilotes actuellement en tête ne vont pas profiter de la réunion pour expliquer très sérieusement que, pour des raisons évidentes de sécurité, il serait préférable que les autres restent dans les stands.

Right. Dario was already claiming that GPT2 was too dangerous to open source back in 2019. I made fun of them then. Everyone should make fun of them now.