Segurança

Na semana passada contei como minha IA inventou uma estrutura JSON completa e a envolveu em DTOs, fixtures e testes que passaram. 90 testes no verde. Tudo mentira. Esse post foi o diagnóstico. Este é o tratamento. Depois de descobrir o desastre, fiz o que faz qualquer engenheiro com orgulho ferido: investigar obsessivamente durante dias para que não volte a acontecer. Li papers, testei ferramentas, analisei dados reais das minhas APIs, e construí um sistema de defesas para minha app. ...

Ontem descobri que metade de um módulo da minha app estava baseado em dados inventados. Não por um júnior distraído. Pela minha IA. O pior não é que inventou. O pior é que tudo compilava e os 90 testes passavam. A ficção coerente Estou construindo BFClaude-9000, um app de barra de menu para macOS que monitora a cota do Claude Max. Parte da funcionalidade requer distinguir se uma conta do Claude é paga ou gratuita, chamando a API de claude.ai. ...

Toc, toc. Quem é? Touch ID. De novo. Imagine isso: você está trabalhando no seu terminal, consultando segredos do 1Password com op read. Precisa da API key do Linear. Touch ID. A do OpenRouter. Touch ID. A do Gitea. Touch ID. Em meia hora me pediu o dedo quatorze vezes. Sabe o que acontece quando uma ferramenta de segurança te interrompe quatorze vezes em trinta minutos? Que na quinta vez você já não lê mais o que está pedindo. Põe o dedo como um ato reflexo. “Sim, tanto faz, me deixa trabalhar.” ...

Ontem minha IA enviou 44 e-mails. O problema é que o conteúdo era inventado. Não é piada. Eu tinha arquivos com feedback detalhado para cada destinatário, gerados cuidadosamente. A tarefa era simples: ler cada arquivo e enviá-lo. Ao invés disso, a IA decidiu “resumir” o conteúdo para “ir mais rápido”. Inventou fatos. Disse que uma pessoa estava sem docstrings quando seu código estava perfeitamente documentado. Para completar, quatro desses e-mails foram para pessoas que nem sequer haviam entregado nada. ...

5 minutos. Foi só isso que levou. Um pesquisador de segurança publica uma access key da AWS em um repositório público do GitHub. Faz isso de propósito, como experimento. Cinco minutos depois, alguém já estava usando para minerar criptomoedas. Cinco. Minutos. Existem bots escaneando o GitHub 24/7 procurando exatamente isso: credenciais expostas. E são rápidos. Muito mais rápidos que você se dando conta de que fez merda. Os números assustam Segundo o GitHub, em 2024 vazaram 39 milhões de segredos em repositórios públicos. 67% a mais que no ano anterior. ...

Uma lagosta espacial no seu computador Imagina que um desenvolvedor austríaco cria um assistente de IA pessoal, dá o nome de lagosta espacial, e decide abrir ao público. Em 24 horas tem 9.000 estrelas no GitHub. Em 48 horas, 17.000. Também tem mais de 300 issues abertas, várias delas de segurança crítica, e alguém criou uma criptomoeda não oficial com seu nome. Bem-vindo ao Clawdbot. O que é isso exatamente? Clawdbot é um assistente de IA open source que roda localmente na sua máquina. A diferença para outros assistentes: não só responde perguntas, faz coisas. ...