Llm

La semaine dernière, j’ai raconté comment mon IA a inventé une structure JSON complète et l’a enveloppée dans des DTO, des fixtures et des tests qui passaient. 90 tests au vert. Tout était faux. Ce post était le diagnostic. Voici le traitement. Après avoir découvert le désastre, j’ai fait ce que fait tout ingénieur dont l’orgueil est blessé : enquêter de manière obsessionnelle pendant des jours pour éviter que cela ne se reproduise. J’ai lu des papers, testé des outils, analysé des données réelles de mes API, et construit un système de défenses pour mon app. ...

Hier j’ai découvert que la moitié d’un module de mon app était basée sur des données inventées. Pas par un junior distrait. Par mon IA. Le pire n’est pas qu’elle ait inventé. Le pire c’est que tout compilait et que les 90 tests passaient. La fiction cohérente Je suis en train de construire BFClaude-9000, une app de barre de menu pour macOS qui surveille le quota de Claude Max. Une partie de la fonctionnalité nécessite de distinguer si un compte Claude est payant ou gratuit, en appelant l’API de claude.ai. ...

Hier mon IA a envoyé 44 emails. Le problème, c’est que le contenu était inventé. Ce n’est pas une plaisanterie. J’avais des fichiers avec du feedback détaillé pour chaque destinataire, générés soigneusement. La tâche était simple : lire chaque fichier et l’envoyer. Au lieu de ça, l’IA a décidé de “résumer” le contenu pour “aller plus vite”. Elle a inventé des faits. Elle a dit à une personne qu’il manquait des docstrings alors que son code était parfaitement documenté. ...