Le modèle on-device d'Apple est terrible pour le chat mais étonnamment bon en structured output et tool calling
Je teste intensivement depuis plusieurs semaines le modèle on-device d’Apple — celui de ~3B paramètres qui tourne sur le Neural Engine de n’importe quel Mac avec Apple Silicon. Pour l’évaluer en profondeur, j’ai construit Think Local, une app macOS qui exerce chaque capacité du modèle : chat, génération d’images, structured output, tool calling et comparaison de paramètres. Ma conclusion : comme chatbot, le modèle est décevant. Mais comme moteur de structured output et tool calling, il est étonnamment efficace. ...