IA de nivel de peso Mostik: los modelos se encuentran sin palabras

Tus modelos están todos atrapados en un chat grupal, y a Mostik le gustaría confiscar los teléfonos. Will Knight, de WIRED, informa que la startup, cuyo nombre significa “puente” en ruso, está trabajando en una forma para que los modelos de IA interactúen mediante valores matemáticos en sus pesos en lugar de hacerlo con palabras. Esto es telepatía de máquinas o simplemente álgebra lineal llevando una diminuta capa de terciopelo. Para fastidio de los escépticos del bombo publicitario, la premisa técnica no es absurda. La parte contraintuitiva es sencilla: el lenguaje puede ser una interfaz cómoda para los humanos, pero es un pasillo estrecho para los modelos. La orquestación basada en prompts le pide a un modelo que comprima un desorden interno de alta dimensión en texto, y luego le pide a otro modelo que infle ese texto de nuevo hasta convertirlo en algo útil. Eso puede funcionar, del mismo modo que puedes meter un sofá por la ventana del baño si todo el mundo está comprometido y nadie pregunta por la pintura.

El puente de

WIRED trata de pesos, no de charla Según WIRED, el enfoque de Mostik permite que distintos modelos interactúen usando los valores matemáticos que se encuentran en sus pesos, los valores que moldean cómo un prompt se convierte en una salida. WIRED también informa que Mostik usó el enfoque para construir un modelo que alcanzó el primer puesto en ARC-AGI 3, aunque se negó a compartir más detalles porque quiere ganar el concurso. Para una demostración, WIRED dice que la empresa construyó un puente que involucraba la versión más grande de GLM-5.2, que tiene 753 mil millones de parámetros.

Eso importa porque la pila multimodelo habitual trata el texto como la lengua franca, lo cual es amigable para los paneles de control y hostil para los matices. La propuesta de Mostik se parece más a darles a los modelos una capa adaptadora privada donde el traspaso ocurre en matemáticas nativas del modelo. Si los prompts son postales, los pesos son la fontanería: menos encantadores, más propensos a decidir si la casa se inunda.

El recordatorio de

RAND: los pesos son lo valioso El informe de RAND sobre cómo proteger los pesos de los modelos de IA define los pesos como parámetros aprendibles que codifican la inteligencia central de un modelo de IA. Ese marco es útil aquí porque Mostik no está proponiendo simplemente un nuevo formato de mensaje. Está señalando la parte de un modelo que los laboratorios ya tratan como lo bastante importante estratégicamente como para protegerla del robo y el uso indebido.

Esta también es la razón por la que los constructores deberían separar la idea ingeniosa del dolor de cabeza operativo. Si la colaboración ocurre mediante pesos o representaciones cercanas a los pesos, entonces la interoperabilidad, el control de acceso, la procedencia y los riesgos de filtración se convierten en problemas de diseño de primer nivel. Dejaré el modelado de amenazas más oscuro a Sam, porque me gusta dormir, pero la conclusión de ingeniería es clara: un puente mejor sigue necesitando barandillas, registros y alguien responsable de los tornillos.

MoCo muestra por qué la colaboración sigue siendo complicada

El artículo de MOCO, titulado A One-Stop Shop for Model Collaboration Research, estudia la colaboración entre modelos e incluye un análisis “leave-one-out” sobre la sensibilidad del debate multiagente a cambios menores en la composición de los modelos. Traducción: cambiar a un participante en un consejo de modelos puede cambiar el resultado, porque al parecer incluso las redes neuronales traen una energía rara de trabajo en grupo.

Ese es un contexto útil para Mostik, ya que la calidad de la colaboración no se trata solo de conectar modelos, sino de cómo se combinan sus capacidades bajo presión. Un análisis separado de MoCo de arXivIQ plantea el contraste más claro para los constructores: los métodos a nivel de texto generalmente generan costo durante el uso, mientras que los métodos a nivel de pesos cargan el costo por adelantado en una fase de búsqueda de coeficientes de fusión y pueden tener colaboración sin sobrecarga en el momento de la inferencia. Eso no demuestra que el sistema de Mostik funcione ampliamente, pero explica por qué la idea resulta atractiva. Si puedes pagar el impuesto de coordinación antes de atender solicitudes, tu ruta de inferencia queda menos congestionada, que es lo más cerca que los sistemas distribuidos llegan a un día de spa.

Qué deberían observar ahora los constructores

El informe de WIRED deja al público con una afirmación fascinante y una historia de implementación deliberadamente incompleta, especialmente en torno al sistema ARC-AGI 3 que Mostik no reveló. La respuesta correcta no es aplaudir ni descartar, sino medir. Los constructores deberían buscar demostraciones reproducibles, comparaciones con la orquestación mediante prompts, evidencia entre familias de modelos y claridad sobre qué acceso a los pesos se requiere.

Si Mostik tiene razón, la próxima capa interesante de colaboración entre modelos quizá no se parezca a agentes intercambiando párrafos educadamente. Puede parecerse más a adaptadores, fusiones, canales latentes y tuberías de inferencia que tratan el lenguaje como solo un formato de salida, no como todo el servicio postal. Lo raro no es que los modelos puedan dejar de hablar como nosotros, sino que los hicimos usar el lenguaje como correo electrónico de oficina desde el principio.