Apple-Intelligence

Passo semanas fazendo stress-test do modelo on-device da Apple — o de ~3B parâmetros que roda no Neural Engine de qualquer Mac com Apple Silicon. Para testá-lo a fundo, construí o Think Local, um app macOS que exercita cada capacidade do modelo: chat, geração de imagens, structured output, tool calling e comparação de parâmetros. Minha conclusão: como chatbot, o modelo é terrível. Mas como motor de structured output e tool calling, é surpreendentemente bom. ...

O framework Foundation Models da Apple (macOS 26) expõe um LLM de ~3B parâmetros que roda on-device, de graça, sem necessidade de API key. Mas tem um problema: ele só trabalha com Swift. E não qualquer Swift — Swift async. Seu tooling está em Python? Não tem binding. Em Rust? Também não. Um script de shell? Sem chance. O LLM mais barato do mundo (literalmente gratuito) está preso atrás de duas barreiras: o idioma e o modelo de concorrência. ...

Você está pagando entre 20 e 200 dólares por mês para acessar LLMs. Claude, GPT, Gemini, o que seja. E a maioria das consultas feitas a partir de seus scripts e ferramentas de desenvolvimento é uma variação disto: “Classifique este erro em uma dessas cinco categorias.” “Dê um nome para essa variável.” “Diga se este commit é um fix, feat ou refactor.” “Resuma este bloco de texto em duas frases.” Enquanto isso, seu Mac com Apple Silicon tem um modelo de linguagem com 3 bilhões de parâmetros, integrado ao sistema operacional, sem custo, sem necessidade de conexão à internet, sem chave de API e sem latência de rede. E provavelmente você não está aproveitando isso. ...