Le modèle à deux couches sur Apple Silicon : d'abord du code déterministe peu coûteux, CoreML pour les tâches lourdes
Dans les deux articles précédents (sur les empreintes perceptuelles dans le cadre de Chat Control et sur leurs collisions adversariales), nous avons vu comment 40 lignes de Python permettent de résoudre un problème que l’industrie déploie ensuite à une échelle mondiale. Les empreintes perceptuelles sont l’exemple classique d’une couche déterministe peu coûteuse : sans modèle, sans GPU, sans dépendances lourdes. Les empreintes permettent de détecter les duplications et similitudes. Mais dans un pipeline de traitement d’images réaliste, certaines tâches ne peuvent pas être accomplies avec des algorithmes classiques: détecter les bounding boxes d’un filigrane arbitraire, combler les zones manquantes avec de l’inpainting respectant le contexte visuel, classifier si un visage est adulte, ou extraire des attributs sémantiques. Ces tâches nécessitent des réseaux neuronaux de grande envergure. ...