Análisis de predictibilidad de IA: Atlantic sobre Cammarata

Tengo la mala costumbre de antropomorfizar los mensajes de error. Cuando una laptop se congela, imagino que está enfurruñada. Cuando un modelo me da una respuesta incorrecta con mucha seguridad, imagino que está improvisando bajo presión social, como un invitado a una cena que preferiría inventarse un libro antes que admitir que no lo ha leído. Eso es encantador como metáfora, pero peligroso como ingeniería. Cuanto más tratamos a los sistemas de IA como algo misterioso e incognoscible, más fácil se vuelve dejar de hacer la pregunta aburrida y útil: ¿y si parte de este comportamiento es más legible de lo que nuestra cultura ha querido creer?

El encuadre de The Atlantic es la verdadera sorpresa

Matteo Wong, en The Atlantic, presentó el ensayo de Nick Cammarata como algo más que otro argumento sobre interpretabilidad, con el propio artículo titulado “La publicación de blog que prendió fuego al mundo de la IA”. Ese encuadre importa porque la afirmación no es simplemente que los investigadores hayan encontrado un patrón interesante dentro de un modelo. Es que la industria de la IA quizá haya aprendido demasiado bien una historia sobre la opacidad, y luego haya construido hábitos, miedos y lenguaje de producto alrededor de esa historia.

HyperAI informa que Cammarata, exinvestigador de OpenAI y ahora en Goodfire, publicó hallazgos el 15 de octubre en los que argumenta que las grandes redes neuronales pueden ser más interpretables de lo que se pensaba. En su largo ensayo, “Las redes neuronales ya son limpias”, sugiere que el aparente solapamiento caótico de características puede venir de límites analíticos más que de un desorden intrínseco del modelo, según HyperAI. Es una distinción sutil con una implicación sonora: quizá la niebla esté en parte en el microscopio, no solo en la máquina.

Las cifras sobre neuronas son provocadoras, no definitivas

La parte más fácil de compartir es también la parte que los creadores deberían tratar con más cuidado. Según HyperAI, la revisión preliminar de Cammarata sobre Qwen3-32B encontró que alrededor del 90 por ciento de las direcciones de respuesta de las neuronas tenían una función dominante clara, aproximadamente el 7 por ciento codificaban dos funciones estrechamente relacionadas, y solo entre el 2 y el 4 por ciento carecían de un patrón identificable. HyperAI añade que se observaron tendencias similares en modelos de billones de parámetros como Kimi K3, y que el resultado desafía la influyente hipótesis de la superposición.

La explicación de Kingy AI pone la etiqueta de cautela donde corresponde: los hallazgos son preliminares, y la comprensión completa del modelo sigue sin demostrarse. También señala que la importancia depende de si las explicaciones resisten pruebas independientes y llevan a mejoras fiables. Ese es el estándar correcto. Una neurona legible no es lo mismo que un sistema seguro, del mismo modo que un disyuntor etiquetado no demuestra que todo el edificio esté bien diseñado.

Por qué a los creadores debería importarles la razonabilidad

Anil Dash planteó un argumento cultural relacionado en 2023, al escribir que la industria tecnológica se había alejado de un valor central de la ingeniería: los sistemas deberían ser lo bastante predecibles como para que las personas puedan razonar sobre ellos. Señaló la forma en que las especificaciones de internet asumen un comportamiento consistente, incluyendo términos técnicos como MUST, MUST NOT, SHOULD y SHOULD NOT. Esa vieja gramática de la fiabilidad se siente casi pintoresca junto a la IA generativa, donde la demostración suele llegar antes que la explicación.

El argumento de Cammarata, tal como lo resumen HyperAI y Kingy AI, no vuelve de repente simple a la IA actual. Hace algo más útil. Reabre la posibilidad de que la interpretabilidad sea una disciplina práctica, y no un mecanismo filosófico para sobrellevar la incertidumbre. Si el comportamiento de los modelos puede mapearse con más confianza, entonces el trabajo de seguridad, la depuración, la evaluación y el diseño de productos se vuelven menos parecidos a una sesión espiritista y más parecidos a la ingeniería.

La cultura de la IA quizá necesite un mito más pequeño

MIT Technology Review ha descrito el desafío de separar la realidad de la IA de la ficción exagerada, señalando debates que comparan la IA ya sea con materiales nucleares o con tecnologías de propósito general como la electricidad e internet. Ese contraste es la música de fondo de todo este episodio. Si la IA es fundamentalmente incognoscible, entonces toda conversación se inclina hacia el asombro, el temor y el control. Si la IA es parcialmente predecible, la conversación se desplaza hacia la medición, el mantenimiento y la responsabilidad.

Kingy AI advierte que llamar a la IA una caja negra puede crear la impresión engañosa de que su funcionamiento interno está permanentemente fuera del alcance de la investigación. Ese puede ser el punto cultural más importante aquí. La metáfora de la caja negra ha sido útil, pero también puede convertirse en un permiso tácito que permite a las empresas prometer de más, a los críticos mistificar de más y a los usuarios preguntar de menos. Una IA más predecible no sería una IA menos poderosa. Sería una IA con la que podemos discutir con más precisión.

Para quienes leen y construyen productos, evalúan proveedores o simplemente intentan mantener el equilibrio, el siguiente paso no es declarar resuelto el misterio. Hay que estar atentos a la replicación independiente, a mejores herramientas y a pruebas de que las explicaciones a nivel de neuronas mejoran sistemas reales. La pregunta incómoda no es si la IA es mágica o mundana, sino si estamos listos para renunciar al consuelo del misterio cuando la explicación nos exige más.