Transforme et vous vaincrez : comment Google compresse les LLMs 6x en changeant de coordonnées
Multiplier est difficile. Additionner est facile. Tous les écoliers savent cela dès le primaire. Ce qu’ils ignorent, cependant, c’est que les logarithmes existent précisément pour exploiter cette asymétrie : transformer une multiplication en une addition, travailler dans un monde plus simple, puis annuler la transformation. Le résultat est correct et l’effort, une fraction. Ce modèle — transformer un problème dans un espace où le résoudre est trivial, le résoudre, puis revenir — est l’un des principes les plus puissants de toute l’ingénierie. La FFT le fait avec les signaux. Les logarithmes le font avec les produits. Et aujourd’hui, Google vient de publier un article scientifique qui l’applique à la compression des modèles de langage. ...