Uma rede neural de 2.500 camadas que é na verdade MD5: o que isso ensina sobre debugging
A Jane Street, uma das firmas de trading quantitativo mais seletivas do mundo, publicou algumas semanas atrás um desafio de interpretabilidade mecanística. Eles projetaram manualmente uma rede neural com aproximadamente 2.500 camadas lineares, pesos inteiros, e a lançaram para o público com uma pergunta: qual função esta rede está computando? A resposta: MD5. Um algoritmo de hash criptográfico de 1992, implementado inteiramente como multiplicações de matrizes e funções ReLU. O interessante não é a resposta. É o caminho que o vencedor seguiu para chegar até ela. Porque esse caminho é, sem exageros, um manual de debugging de sistemas opacos que se aplica muito além do aprendizado de máquina. ...