Un réseau neuronal de 2’500 couches qui se révèle être MD5 : ce que cela enseigne sur le debugging
Jane Street, l’une des entreprises de trading quantitatif les plus sélectives au monde, a publié il y a quelques semaines un casse-tête d’interprétabilité mécaniste. Ils ont conçu manuellement un réseau neuronal avec environ 2’500 couches linéaires, des poids entiers, et l’ont lancé au public avec une question : quelle fonction calcule ce réseau ? La réponse : MD5. Un algorithme de hash cryptographique de 1992, entièrement implémenté avec des multiplications de matrices et fonctions ReLU. ...