IA Mostik Weight-Level : les modèles se rencontrent sans mots

Vos modèles sont tous coincés dans une conversation de groupe, et Mostik aimerait confisquer les téléphones. Will Knight de WIRED rapporte que la startup, dont le nom signifie « pont » en russe, travaille sur une façon de permettre aux modèles d’IA d’interagir au moyen de valeurs mathématiques dans leurs poids plutôt qu’avec des mots. C’est soit de la télépathie entre machines, soit simplement de l’algèbre linéaire portant une petite cape en velours. Fait agaçant pour les sceptiques du battage médiatique, le principe technique n’est pas ridicule. L’idée contre-intuitive est simple : le langage est peut-être une interface pratique pour les humains, mais c’est un couloir étroit pour les modèles. L’orchestration basée sur les prompts demande à un modèle de compresser un désordre interne de haute dimension en texte, puis demande à un autre modèle de regonfler ce texte pour en faire quelque chose d’utile. Cela peut fonctionner, de la même manière qu’on peut faire passer un canapé par la fenêtre d’une salle de bain si tout le monde est motivé et que personne ne pose de questions sur la peinture.

Le pont de

WIRED concerne les poids, pas le bavardage Selon WIRED, l’approche de Mostik permet à différents modèles d’interagir en utilisant les valeurs mathématiques présentes dans leurs poids, les valeurs qui déterminent comment un prompt devient une sortie. WIRED rapporte également que Mostik a utilisé cette approche pour créer un modèle qui a atteint la première place d’ARC-AGI 3, tout en refusant de partager davantage de détails parce que l’entreprise veut gagner le concours. Pour une démonstration, WIRED affirme que l’entreprise a construit un pont impliquant la plus grande version de GLM-5.2, qui compte 753 milliards de paramètres.

C’est important parce que la pile multimodèle habituelle traite le texte comme la lingua franca, ce qui est convivial pour les tableaux de bord mais hostile aux nuances. Le discours de Mostik ressemble davantage à l’idée de donner aux modèles une couche d’adaptateur privée où le passage de relais se fait dans des mathématiques natives pour les modèles. Si les prompts sont des cartes postales, les poids sont la plomberie : moins charmants, mais plus susceptibles de décider si la maison va être inondée.

Le rappel de

RAND : les poids sont ce qui a de la valeur Le rapport de RAND sur la sécurisation des poids des modèles d’IA définit les poids comme des paramètres apprenables qui encodent l’intelligence centrale d’un modèle d’IA. Ce cadrage est utile ici, car Mostik ne propose pas simplement un nouveau format de message. L’entreprise pointe vers la partie d’un modèle que les laboratoires considèrent déjà comme suffisamment stratégique pour la protéger contre le vol et les usages abusifs.

C’est aussi pourquoi les créateurs devraient séparer l’idée astucieuse du casse-tête opérationnel. Si la collaboration se fait au moyen de poids ou de représentations proches des poids, alors l’interopérabilité, le contrôle d’accès, la provenance et les risques de fuite deviennent des problèmes de conception de premier plan. Je laisserai la modélisation des menaces les plus sombres à Sam, parce que j’aime dormir, mais la leçon d’ingénierie est claire : un meilleur pont a quand même besoin de garde-fous, de journaux et de quelqu’un responsable des boulons.

MoCo montre pourquoi la collaboration reste compliquée

L’article MOCO, intitulé A One-Stop Shop for Model Collaboration Research, étudie la collaboration entre modèles et inclut une analyse leave-one-out sur la sensibilité du débat multiagent à de petits changements dans la composition des modèles. Traduction : remplacer un participant dans un conseil de modèles peut changer le résultat, parce qu’apparemment même les réseaux neuronaux apportent une étrange énergie de travail de groupe.

C’est un contexte utile pour Mostik, car la qualité de la collaboration ne consiste pas seulement à connecter des modèles, mais à comprendre comment leurs capacités se combinent sous pression. Une analyse MoCo distincte d’arXivIQ présente le contraste le plus clair pour les créateurs : les méthodes au niveau du texte entraînent généralement des coûts pendant l’utilisation, tandis que les méthodes au niveau des poids déplacent le coût en amont, dans une phase de recherche de coefficients de fusion, et peuvent permettre une collaboration sans surcoût au moment de l’inférence. Cela ne prouve pas que le système de Mostik fonctionne largement, mais cela explique pourquoi l’idée est séduisante. Si vous pouvez payer la taxe de coordination avant de servir les requêtes, votre chemin d’inférence devient moins encombré, ce qui est ce que les systèmes distribués ont de plus proche d’une journée au spa.

Ce que les créateurs devraient surveiller ensuite

Le rapport de WIRED laisse au public une affirmation fascinante et une histoire de mise en œuvre volontairement incomplète, en particulier autour du système ARC-AGI 3 que Mostik n’a pas divulgué. La bonne réponse n’est ni les applaudissements ni le rejet, mais la mesure. Les créateurs devraient chercher des démonstrations reproductibles, des comparaisons avec l’orchestration par prompts, des preuves à travers plusieurs familles de modèles et des précisions sur le type d’accès aux poids requis.

Si Mostik a raison, la prochaine couche intéressante de collaboration entre modèles ne ressemblera peut-être pas à des agents échangeant poliment des paragraphes. Elle pourrait plutôt ressembler à des adaptateurs, des fusions, des canaux latents et des pipelines d’inférence qui traitent le langage comme un simple format de sortie parmi d’autres, plutôt que comme tout le service postal. Ce qui est étrange, ce n’est pas que les modèles puissent arrêter de parler comme nous, c’est que nous leur ayons fait utiliser le langage comme des e-mails de bureau dès le départ.