O modelo on-device da Apple é terrível para chat, mas surpreendentemente bom em structured output e tool calling
Passo semanas fazendo stress-test do modelo on-device da Apple — o de ~3B parâmetros que roda no Neural Engine de qualquer Mac com Apple Silicon. Para testá-lo a fundo, construí o Think Local, um app macOS que exercita cada capacidade do modelo: chat, geração de imagens, structured output, tool calling e comparação de parâmetros. Minha conclusão: como chatbot, o modelo é terrível. Mas como motor de structured output e tool calling, é surpreendentemente bom. ...