O cache do seu LLM te cobra o dobro para economizar dinheiro (e faz sentido)
Algumas semanas atrás, publiquei um artigo explicando por que 99% do que você envia para o Claude já está em cache. Tensores KV, VRAM, SSDs locais — toda a maquinaria interna. Mas deixei de fora a parte que mais dói: a conta. Porque o prompt caching é uma daquelas coisas que parecem um baita negócio até você olhar de perto os números. E então percebe que está pagando para economizar. O paradoxo do custo Vamos aos números. Com Claude Sonnet: ...