La machine s'est inventé un passé
J'ai écrit douze contrôles automatiques pour une chaîne éditoriale. Ils ont tout attrapé, sauf l'essentiel.
- automatisation
- editorial
- ia generative
- controle qualite
Cette nuit, j'ai construit une chaîne de production d'articles automatisée pour un organisme de formation. Le principe est simple : on décrit un sujet, le système écrit l'article, et il le publie sur le site. Voici ce que j'ai appris entre minuit et quatre heures du matin, y compris ce que je n'avais pas prévu.
J'ai écrit les contrôles avant le rédacteur
Le premier réflexe, quand on automatise de l'écriture, c'est de brancher un modèle et de regarder ce qui sort. J'ai fait l'inverse : j'ai commencé par écrire ce qui empêche de publier.
Douze contrôles, couverts par 89 tests. Ils vérifient des choses ennuyeuses et vérifiables mécaniquement : le format est-il réellement affichable par le site, ou casse-t-il en silence à l'affichage. L'article cite-t-il une formation qui n'existe pas au catalogue. Chaque chiffre porte-t-il sa source. L'article a-t-il un auteur réel, ou se cache-t-il derrière le nom de l'entreprise. Les liens internes pointent-ils vers des pages qui existent. Le visuel est-il au bon format.
Aucun de ces contrôles n'est brillant. Ensemble, ils décident ce qui a le droit de sortir.
Premier résultat : les articles déjà en ligne ne passent pas
Avant de générer quoi que ce soit, j'ai passé les contrôles sur les six articles du site, écrits à la main, publiés depuis des mois.
Aucun ne passe. 56 erreurs. Aucun ne porte d'auteur, aucun ne cite ses sources.
Ce ne sont pas de mauvais articles. Ce sont des articles que personne n'a jamais vérifiés, parce que la vérification n'existait pas. C'est la première chose que l'automatisation apporte, et elle n'a rien à voir avec la vitesse : une machine n'oublie pas de vérifier.
Deuxième résultat : le coût réel
J'ai ensuite fait tourner la chaîne complète cinq fois, sur cinq sujets différents. À chaque fois, le système écrit, les contrôles le recalent, il relit ses propres erreurs, il corrige, et les contrôles repassent.
Cinq fois sur cinq, l'article est sorti conforme, en un ou deux passages. Entre 950 et 1 155 mots, sourcé, signé, avec ses questions fréquentes. Entre 79 et 166 secondes. Et entre 0,12 et 0,28 euro.
Ce dernier chiffre change la discussion budgétaire plus que tout le reste. À deux articles par semaine, le moteur de rédaction coûte de l'ordre de deux euros par mois. Le coût d'une chaîne éditoriale automatisée n'est donc pas le modèle. Il est dans la diffusion, dans les visuels, et surtout dans le temps humain de validation.
Je pensais que c'était la conclusion de la nuit. Elle est arrivée une heure plus tard.
Puis j'ai demandé à la machine d'écrire cet article
Pour tester la chaîne sur ma propre marque, j'ai demandé un article sur ma méthode de travail. Le texte est revenu propre : structuré, sobre, sans faute, avec des exemples précis. Il passait tous les contrôles.
Il disait aussi ceci.
Je construis des chaînes de production de contenu depuis plusieurs années.
J'ai changé de modèle générateur trois fois sur une même chaîne en un an, pour des raisons de coût, de latence et de disponibilité.
Ce chiffre, je le mesure dans les logs, sur une fenêtre de sept jours après chaque bascule.
Rien de tout cela n'est vrai. Le modèle ne m'a pas menti par malice : il a produit ce qu'un article crédible sur ce sujet contient d'habitude. De l'antériorité, des bascules techniques, des mesures. Il a comblé les trous avec du plausible, parce que c'est exactement ce qu'on lui demande de faire.
Mes douze contrôles n'ont rien vu
Et ils ne pouvaient rien voir.
Une phrase inventée est bien formée. Elle est bien orthographiée. Elle ne contient aucun chiffre à sourcer, aucun lien mort, aucune offre absente du catalogue. Elle respecte la longueur, le ton, la structure. Du point de vue d'un contrôle automatique, elle est parfaite.
C'est une limite de nature, pas de réglage. Un contrôle vérifie la forme et la cohérence interne. Il ne peut pas vérifier qu'une affirmation correspond à une vie. Pour cela, il faut quelqu'un qui sait ce qui s'est passé.
Ce que ça change
J'ai ajouté cette nuit cinq contrôles typographiques, le genre que les correcteurs génériques laissent passer : les traits d'union manquants devant « là » et « même », « garde fou » sans trait d'union, le « Ca » sans cédille, et le mélange des personnes entre le « je » et le « nous ». Ils ont attrapé les cinq défauts que j'avais repérés à l'œil sur le premier jet.
C'est utile, et c'est très loin de suffire.
La vraie conclusion est ailleurs : la validation humaine n'est pas une relecture de confort qu'on pourra retirer quand le système sera mûr. C'est le seul filtre qui attrape ce qu'aucun contrôle ne verra jamais. Sur des sujets réglementés, financement, certification, résultats annoncés, ce n'est pas une question de qualité. C'est une question de responsabilité, et elle reste entière.
Autrement dit : l'automatisation déplace le travail humain, elle ne le supprime pas. Avant, on relisait pour corriger la forme. Maintenant, la forme est garantie par des contrôles, et on relit pour vérifier ce qui est vrai. C'est plus rapide, et c'est plus exigeant.
Je publie donc cet article, que j'ai écrit à la main, sur une chaîne automatisée qui a failli me faire raconter une expérience que je n'ai pas. C'était la seule fin honnête possible.
Le détail de ce que je construis en automatisation est sur la page du studio.