Transforme e conquiste: como o Google comprime LLMs 6x mudando de coordenadas
Multiplicar é difícil. Somar é fácil. Todo mundo aprende isso na escola. O que quase ninguém sabe é que os logaritmos existem precisamente para explorar essa assimetria: eles transformam uma multiplicação em uma soma, processam o problema no mundo fácil e depois desfazem a transformação. O resultado é correto. O esforço, muito menor. Esse padrão — transformar o problema para um espaço onde resolvê-lo seja trivial, resolver e voltar ao original — é um dos mais poderosos em toda a engenharia. A transformada FFT faz isso com sinais. Os logaritmos fazem isso com produtos. Agora, o Google acaba de publicar um artigo mostrando como fazer isso com a compressão de modelos de linguagem. ...