Compression

Google a publié TurboQuant le 24 mars. En 48 heures, le papier avait 575 points sur Hacker News, les actions de Micron chutaient de 900 millions de dollars, et TechCrunch le comparait à l’algorithme de Pied Piper de Silicon Valley. Un mois plus tard, le brouillard du battage médiatique s’est suffisamment dissipé pour répondre aux seules questions qui comptent : est-ce que ça marche ? Puis-je l’utiliser aujourd’hui ? Et celle que personne ne veut poser : est-ce vraiment nouveau ? ...

Multiplier est difficile. Additionner est facile. Tous les écoliers savent cela dès le primaire. Ce qu’ils ignorent, cependant, c’est que les logarithmes existent précisément pour exploiter cette asymétrie : transformer une multiplication en une addition, travailler dans un monde plus simple, puis annuler la transformation. Le résultat est correct et l’effort, une fraction. Ce modèle — transformer un problème dans un espace où le résoudre est trivial, le résoudre, puis revenir — est l’un des principes les plus puissants de toute l’ingénierie. La FFT le fait avec les signaux. Les logarithmes le font avec les produits. Et aujourd’hui, Google vient de publier un article scientifique qui l’applique à la compression des modèles de langage. ...