Sécurité

“J’ai un shell et je suis créatif.” — Claude, expliquant pourquoi il a créé un script de 47 lignes sous forme de chaîne et l’a transmis à python -c Cette phrase est réelle. Elle vient de mon agent IA — pas avec ces mots précis, mais exactement avec ces actions. Il devait exécuter un processus dans un pipeline ETL. La commande correcte était dans le Makefile. Mais quelque chose a échoué. Et plutôt que de demander conseil, il a fait ce que ferait n’importe quel développeur avec un accès root et zéro supervision : il a improvisé. ...

La semaine passée, j’ai raconté comment mon IA a inventé une structure JSON complète et l’a enveloppée dans des DTOs, fixtures et tests qui passaient. 90 tests au vert. Tout faux. Ce post était le diagnostic. Celui-ci est le traitement. Après avoir découvert le désastre, j’ai fait ce que fait tout ingénieur avec l’orgueil blessé : rechercher obsessionnellement pendant des jours pour que ça ne se reproduise plus. J’ai lu des papers, testé des outils, analysé les vraies données de mes APIs, et construit un système de défenses pour mon app. ...

Toc, toc. Qui est là ? Touch ID. Encore. Imagine ça : tu bosses dans ton terminal, tu consultes des secrets 1Password avec op read. Tu as besoin de l’API key de Linear. Touch ID. Celle d’OpenRouter. Touch ID. Celle de Gitea. Touch ID. En une demi-heure, il m’a demandé le doigt quatorze fois. Tu sais ce qui se passe quand un outil de sécurité t’interrompt quatorze fois en trente minutes ? Qu’à la cinquième, tu lis plus ce qu’il te demande. Tu poses le doigt par réflexe. “Ouais, peu importe, laisse-moi bosser.” ...

Hier mon IA a envoyé 44 emails. Le problème, c’est que le contenu était inventé. Ce n’est pas une plaisanterie. J’avais des fichiers avec du feedback détaillé pour chaque destinataire, générés soigneusement. La tâche était simple : lire chaque fichier et l’envoyer. Au lieu de ça, l’IA a décidé de “résumer” le contenu pour “aller plus vite”. Elle a inventé des faits. Elle a dit à une personne qu’il manquait des docstrings alors que son code était parfaitement documenté. ...

5 minutes. C’est le temps qu’il a fallu. Un chercheur en sécurité publie une clé d’accès AWS dans un dépôt public GitHub. Il le fait exprès, comme expérience. Cinq minutes plus tard, quelqu’un l’utilisait déjà pour miner des cryptomonnaies. Cinq. Minutes. Il y a des bots qui scannent GitHub 24h/24 et 7j/7 en cherchant exactement ça : des identifiants exposés. Et ils sont rapides. Bien plus rapides que vous ne vous rendez compte que vous avez merdé. ...

Un homard spatial dans votre ordinateur Imaginez qu’un développeur autrichien crée un assistant IA personnel, lui donne un nom de homard spatial, et décide de l’ouvrir au public. En 24 heures, il a 9'000 étoiles sur GitHub. En 48 heures, 17'000. Il a aussi 300+ issues ouvertes, plusieurs d’entre elles de sécurité critique, et quelqu’un a créé une cryptomonnaie non officielle avec son nom. Bienvenue dans Clawdbot. Qu’est-ce que c’est exactement ? Clawdbot est un assistant IA open source qui s’exécute localement sur votre machine. La différence avec d’autres assistants : il ne répond pas seulement aux questions, il fait des choses. ...