TL;DR : Un LLM est comme Don Quijote — tu ne peux pas le corriger, il est stochastique par nature. La solution n’est pas de guérir le fou, mais de placer un Sancho Panza déterministe à ses côtés. MDD se compose de deux couches : d’abord, tu étudies ses erreurs pour concevoir des outils qui les absorbent, puis tu le testes avec ces outils pour vérifier que tu n’as rien laissé passer. Conçois pour la folie, pas contre elle. ...
Je suis en train de construire une app de barre de menus pour macOS. Elle fonctionne parfaitement sur mon Mac. Maintenant je dois savoir si elle fonctionne sur un macOS propre : sans mes configurations, sans mes autorisations, sans mes données. Un utilisateur qui l’installe à partir de zéro. Comment on teste ça ? Il faut une machine virtuelle. “Facile”, me suis-je dit. “J’ai UTM installé. J’ouvre l’assistant, je crée une VM macOS, et c’est parti.” ...
La semaine dernière, j’ai raconté comment mon IA a inventé une structure JSON complète et l’a enveloppée dans des DTO, des fixtures et des tests qui passaient. 90 tests au vert. Tout était faux. Ce post était le diagnostic. Voici le traitement. Après avoir découvert le désastre, j’ai fait ce que fait tout ingénieur dont l’orgueil est blessé : enquêter de manière obsessionnelle pendant des jours pour éviter que cela ne se reproduise. J’ai lu des papers, testé des outils, analysé des données réelles de mes API, et construit un système de défenses pour mon app. ...
Hier j’ai découvert que la moitié d’un module de mon app était basée sur des données inventées. Pas par un junior distrait. Par mon IA. Le pire n’est pas qu’elle ait inventé. Le pire c’est que tout compilait et que les 90 tests passaient. La fiction cohérente Je suis en train de construire BFClaude-9000, une app de barre de menu pour macOS qui surveille le quota de Claude Max. Une partie de la fonctionnalité nécessite de distinguer si un compte Claude est payant ou gratuit, en appelant l’API de claude.ai. ...