Détection IA : que mesure vraiment Pangram ?

En laboratoire, le meilleur détecteur d’IA ne se trompe presque jamais sur un texte humain. Appliqué à 1 163 mémoires de master en sciences sociales et économie, il en signale pourtant 45,5 %. Fraude massive, usage partiel ou simple ressemblance de style : faute de vérité de terrain, personne ne peut trancher. Entre ces chiffres se loge la vraie question : que lit exactement Pangram ?

Tout texte, du roman au rapport technique, se construit sur sept strates. Elles forment une échelle, que l’on peut appeler l’échelle de l’imitation. En haut se trouve ce qui se copie en quelques pages. En bas, ce qui ne s’invente qu’au prix d’une vie de travail.

Au sommet, la forme : le grain des mots, le choix des verbes, la pesée des adjectifs. Juste en dessous, le ton, qu’il soit ironique, solennel, scolaire ou poétique, se reproduit dès qu’on l’a repéré. Vient ensuite la structure, c’est-à-dire les titres, les enchaînements et l’architecture visible, qui se transmet comme un gabarit. La logique ferme ce premier étage. Enchaîner des idées proprement reste accessible, mais tenir une rigueur qui résiste à l’objection marque déjà la frontière entre imiter et raisonner.

Au-delà commence le second étage. Les faits réclament un contact avec le monde. Inventer un chiffre prend une seconde, alors que produire un fait vrai, frais et vérifiable exige une enquête. Le fond demande davantage. Un point de vue se simule sans peine, mais une conviction qui expose son auteur à la contradiction a un prix. Tout en bas se trouve la voix. Elle ne se lit dans aucun texte isolé : elle se lit dans un corpus, à travers les mêmes obsessions, les mêmes angles et une cohérence tenue sur des années.

La surface s’imite. La profondeur se paie.

La machine excelle au premier étage. Son vocabulaire vise le juste milieu, ses connecteurs glissent sans heurt, sa courtoisie reste égale et ses paragraphes se répondent avec une symétrie d’horloger. Elle produit ce qu’on peut appeler la moyenne éloquente : une prose lisse et correcte, bâtie pour plaire à tout le monde et ne blesser personne.

Au second étage, elle vacille. Elle livre un consensus en guise de conviction, des faits arrêtés à la date de son entraînement, parfois des inventions plausibles, et aucune voix.

Le détecteur fonctionne comme un sonar de surface

Pangram découpe le texte en unités minuscules, classe chacune d’elles, puis regroupe les résultats en passages jugés humains, assistés ou générés. Près de la surface, son écho est net. À mesure que le fond s’éloigne, le signal se brouille. Au-delà d’une certaine profondeur, il ne revient plus.

En eaux peu profondes, l’instrument est redoutable. Un détecteur connaît deux familles d’erreurs. L’erreur de type A accuse un humain, l’erreur de type B laisse passer la machine.

En conditions contrôlées, l’Université de Chicago mesure pour Pangram, outil commercial, des faux positifs quasi nuls et des faux négatifs entre 2 et 4 %. Les détecteurs open source testés par la même étude classent jusqu’à 78 % des textes humains comme artificiels.

Le monde réel est moins docile. Des retouches légères et honnêtes déclenchent des taux de signalement élevés. Face au détecteur s’est levée une industrie de l’esquive : Undetectable AI, StealthGPT, Phrasly et leurs concurrents réécrivent le texte généré, remplacent les mots trop attendus, cassent le rythme et sèment de petites imperfections, puis soumettent le résultat au détecteur et recommencent jusqu’à obtenir un score humain.

Le duel tourne à la course aux armements. À Bruxelles, Pangram démasque 37 textes humanisés sur 40. Dans une étude publiée cet été sur des résumés scientifiques, moins de 4 % des réécritures restent détectables. L’honnête qui retouche court alors plus de risques que le fraudeur qui maquille.

Car ces outils travaillent exclusivement le premier étage. Ils brouillent l’écho de surface et laissent intacts le fond, les faits et la voix. Le maquillage trompe le sonar sans jamais créer de profondeur.

Reste le gris. Le détecteur trie sans faute le blanc et le noir, mais dès qu’on lui demande de différencier plus finement, par exemple de déceler ce texte humain retouché par la machine, ou l’inverse, qui devient la norme, alors un texte sur quatre finit dans la mauvaise case, et il n’y en a que trois.

Plus le score est simple (avec/sans), moins le détecteur se trompe.

Autre difficulté, la pertinence du score dépend de la profondeur où loge la valeur du texte.

En littérature, la forme est l’œuvre. Le lecteur achète un style, un rythme, un grain, et une prose d’emprunt trahit le cœur même du livre. Un style affirmé s’écarte en outre de la moyenne éloquente, ce qui rend laste lisible. L’écho revient net.

Le texte argumentatif navigue en eaux intermédiaires et subit une double peine. Codifié, il s’expose comme la théologie, où 26,6 % des résumés sont signalés au même seuil. Et sa valeur loge dans le fond, là où l’écho se trouble.

Le papier technique plonge dans les grands fonds. Sa valeur tient aux faits et à la rigueur, il est rarement soupçonné, avec 2,1 % des résumés de chimie signalés, mais le signal ne dit plus rien de ce qui compte.

Plus la valeur loge en surface, plus le score dit vrai.

Autrefois, on authentifiait un texte par sa matière : le manuscrit, la rature, le brouillon annoté. Désormais, c’est la statistique du style qui tranche. Ce basculement a une conséquence redoutable.

Toute écriture très codifiée, celle du juriste, du théologien ou de l’éditorialiste fidèle à sa charte, se rapproche mécaniquement de la moyenne éloquente.

Plus le premier étage est maîtrisé ou codifié, plus le soupçon grandit.

Pour les textes dont la valeur est profonde, une autre méthode existe, et elle remonte l’échelle par le bas. D’abord, lire le fond : mesurer l’écart entre la thèse et le consensus. Ensuite, vérifier les faits : sources datées, chiffres traçables, fraîcheur démontrée. Enfin, archiver le processus : versions successives, notes, arbitrages, tout le patrimoine invisible qui précède la page. L’authenticité se déplace alors de la surface du texte vers sa profondeur.

En 2026, dans tous les cas, la question sera moins de savoir qui a tapé le texte que de savoir qui en répond.

UN SUJET. UN ÉDITO. DES IDÉES. UN FONDS.

Libre. Indépendant. Différent. Utile.