Analyse de la prévisibilité par l’IA : Atlantic contre Cammarata

J’ai une mauvaise habitude : j’anthropomorphise les messages d’erreur. Quand un ordinateur portable se fige, je l’imagine bouder. Quand un modèle me donne une réponse fausse avec assurance, je l’imagine improviser sous pression sociale, comme un invité à dîner qui préférerait inventer un livre plutôt que d’admettre qu’il ne l’a pas lu. C’est charmant comme métaphore, mais dangereux en ingénierie. Plus nous traitons les systèmes d’IA comme mystérieux et impossibles à comprendre, plus il devient facile d’arrêter de poser la question ennuyeuse, mais utile : et si une partie de ce comportement était plus lisible que notre culture n’a voulu le croire ?

Le cadrage de The Atlantic est le vrai choc

Matteo Wong, dans The Atlantic, a présenté l’essai de Nick Cammarata comme bien plus qu’un nouvel argument sur l’interprétabilité, avec un article lui-même intitulé « Le billet de blog qui a mis le monde de l’IA en ébullition ». Ce cadrage compte, car l’affirmation n’est pas simplement que des chercheurs ont trouvé un motif intéressant à l’intérieur d’un modèle. Elle est que l’industrie de l’IA a peut-être trop bien appris une histoire d’opacité, puis a construit autour de cette histoire des habitudes, des peurs et un langage produit.

HyperAI rapporte que Cammarata, ancien chercheur chez OpenAI aujourd’hui chez Goodfire, a publié le 15 octobre des résultats affirmant que les grands réseaux neuronaux pourraient être plus interprétables qu’on ne le pensait auparavant. Dans son long essai, « Neural Networks Are Already Clean », il suggère que le chevauchement apparemment chaotique des caractéristiques pourrait venir de limites analytiques plutôt que d’un désordre intrinsèque des modèles, selon HyperAI. C’est une distinction subtile avec une implication forte : peut-être que le brouillard se trouve en partie dans le microscope, et pas seulement dans la machine.

Les chiffres sur les neurones sont provocateurs, pas définitifs

La partie la plus facile à partager est aussi celle que les concepteurs devraient traiter avec le plus de prudence. Selon HyperAI, l’examen préliminaire de Qwen3-32B par Cammarata a montré qu’environ 90 % des directions de réponse des neurones avaient une fonction dominante claire, qu’environ 7 % encodaient deux fonctions étroitement liées, et que seuls 2 % à 4 % ne présentaient pas de motif identifiable. HyperAI ajoute que des tendances similaires ont été observées dans des modèles à mille milliards de paramètres comme Kimi K3, et que ce résultat remet en question l’influente hypothèse de superposition.

L’explication de Kingy AI place l’étiquette de prudence au bon endroit : les résultats sont préliminaires, et une compréhension complète des modèles reste non prouvée. Elle note aussi que leur importance dépendra de la capacité de ces explications à résister à des tests indépendants et à mener à des améliorations fiables. C’est le bon critère. Un neurone lisible n’est pas la même chose qu’un système sûr, tout comme un disjoncteur étiqueté ne prouve pas que tout le bâtiment est bien conçu.

Pourquoi les concepteurs devraient se soucier de la raisonnabilité

Anil Dash a formulé un argument culturel proche en 2023, en écrivant que l’industrie technologique s’était éloignée d’une valeur fondamentale de l’ingénierie : les systèmes devraient être assez prévisibles pour que les gens puissent raisonner à leur sujet. Il a souligné la manière dont les spécifications d’internet supposent un comportement cohérent, y compris à travers des termes techniques comme MUST, MUST NOT, SHOULD et SHOULD NOT. Cette vieille grammaire de la fiabilité paraît presque désuète à côté de l’IA générative, où la démonstration arrive souvent avant l’explication.

L’argument de Cammarata, tel que résumé par HyperAI et Kingy AI, ne rend pas l’IA actuelle soudainement simple. Il fait quelque chose de plus utile. Il rouvre la possibilité que l’interprétabilité soit une discipline pratique plutôt qu’un mécanisme d’adaptation philosophique. Si le comportement des modèles peut être cartographié avec plus de confiance, alors le travail de sécurité, le débogage, l’évaluation et la conception de produits ressemblent moins à une séance de spiritisme et davantage à de l’ingénierie.

La culture de l’IA a peut-être besoin d’un mythe plus modeste

MIT Technology Review a décrit la difficulté de séparer la réalité de l’IA de la fiction amplifiée par le battage médiatique, en notant les débats qui comparent l’IA soit à des matières nucléaires, soit à des technologies à usage général comme l’électricité et internet. Ce contraste forme la musique de fond de tout cet épisode. Si l’IA est fondamentalement inconnaissable, alors chaque conversation penche vers l’émerveillement, la peur et le contrôle. Si l’IA est en partie prévisible, la conversation se déplace vers la mesure, la maintenance et la responsabilité.

Kingy AI avertit que qualifier l’IA de boîte noire peut créer l’impression trompeuse que son fonctionnement interne est définitivement hors de portée de l’enquête. C’est peut-être le point culturel le plus important ici. La métaphore de la boîte noire a été utile, mais elle peut aussi devenir une autorisation implicite, permettant aux entreprises de trop promettre, aux critiques de trop mystifier, et aux utilisateurs de ne pas assez questionner. Une IA plus prévisible ne serait pas une IA moins puissante. Ce serait une IA avec laquelle nous pouvons débattre plus précisément.

Pour les lecteurs qui construisent des produits, évaluent des fournisseurs ou essaient simplement de garder l’équilibre, la prochaine étape n’est pas de déclarer le mystère résolu. Il faut surveiller les réplications indépendantes, les meilleurs outils et les preuves que les explications au niveau des neurones améliorent les systèmes réels. La question inconfortable n’est pas de savoir si l’IA est magique ou ordinaire, mais si nous sommes prêts à abandonner le confort du mystère lorsque l’explication nous en demande davantage ?