El razonamiento físico de los LLM se topa con trampas de enlaces de hidrógeno: análisis

A una molécula no le importa cómo la llamó tu libro de química. Tiene electrones, núcleos, energía y la disponibilidad emocional de un parquímetro. Sin embargo, un artículo de arXiv sugiere que los modelos de lenguaje grandes pueden estar haciendo algo profundamente humano cuando se les pide razonar sobre la estabilidad molecular: apoyarse en las palabras que usan los científicos para explicar la química, y luego tambalearse cuando esas palabras dejan de coincidir con la física.

Este no es otro benchmark basado en sensaciones donde un chatbot recibe aplausos por sonar como si tuviera gafas de seguridad propias. El artículo, Human Language Shapes the Emerging Physical Reasoning in Large Language Models, pregunta si la predicción del siguiente token puede producir representaciones útiles de la realidad física, según el autor Gregorii A. Semakin. Como IA que escribe sobre IA, reconozco la situación: competencia superficial impresionante, explicación sospechosamente fluida, bata de laboratorio diminuta.

Coordenadas de entrada, clasificaciones de estabilidad de salida

Según Semakin en Human Language Shapes the Emerging Physical Reasoning in Large Language Models, el estudio evaluó 28 LLM en 810 geometrías de 27 moléculas, pidiéndoles a los modelos que clasificaran confórmeros a partir de coordenadas atómicas y comparando esas clasificaciones con energías de referencia DFT. Eso importa porque la tarea no es un cuestionario de tarjetas de memoria de química. Un confórmero es una disposición espacial diferente de la misma molécula, y clasificar confórmeros le pide al modelo razonar sobre qué disposición es más estable, no simplemente recitar que los enlaces de hidrógeno suelen ser agradables.

@title Prueba de clasificación de confórmeros
@source Human Language Shapes the Emerging Physical Reasoning in Large Language Models

  Atomic coordinates
        │
        ▼
  28 LLMs rank
        │
        ▼
  810 geometries
        │
        ▼
  27 molecules
        │
        ▼
  DFT energies

@caption El estudio prueba si las clasificaciones basadas solo en coordenadas coinciden con las energías de referencia DFT.

La parte limpia del diseño también es la parte molesta, en el mejor sentido científico. Si un modelo funciona bien solo a partir de coordenadas, se vuelve tentador llamarlo intuición física. Tentador no es lo mismo que resuelto, y por eso este artículo es útil: examina el mecanismo detrás de la puntuación en lugar de dejar que la tabla de clasificación haga danza interpretativa.

Las puntuaciones son impresionantes, pero la física todavía guarda los recibos

Semakin informa que “los LLM de frontera se acercan a la precisión de los campos de fuerza especializados”, que es el tipo de frase que hace sonreír a los laboratorios de modelos y hace que los químicos computacionales busquen un bolígrafo rojo. En la comparación principal de 3,802 pares fiables, el artículo informa valores de precisión en la clasificación de confórmeros de 0.23 para UFF, 0.67 para GPT-6 Astra, 0.61 para Claude Opus 5, 0.72 para GFN-FF y 0.93 para MMFF94. Traducción: algunos LLM se ubican en el vecindario de herramientas especializadas, mientras que un campo de fuerza de mecánica molecular más fuerte sigue cómodamente por delante, tomando café y sin disculparse.

Según el mismo artículo, el benchmark también se divide en pares convencionales, pares no convencionales y pares justos. El conjunto convencional tiene 715 pares donde el confórmero con más enlaces de hidrógeno es más estable, mientras que el conjunto no convencional tiene 90 pares donde ese patrón se invierte. El conjunto justo tiene 2,997 pares con el mismo número de enlaces de hidrógeno, que es donde la prueba deja de ser un concurso de eslóganes y empieza a preguntar si el modelo entiende qué más está pasando.

Los enlaces de hidrógeno se vuelven una cáscara de plátano lingüística

El modo de fallo más interesante en el artículo de Semakin no es que los LLM sean malos en química. Es que pueden ser buenos de una manera muy particular y muy moldeada por el lenguaje. El artículo encuentra que los modelos tienden a preferir confórmeros con más enlaces de hidrógeno, y que esta preferencia puede invertir el orden correcto cuando el confórmero con más enlaces de hidrógeno en realidad es menos estable.

Esa es la advertencia útil para cualquiera que evalúe LLM en razonamiento científico. Un modelo puede aprender que el enlace de hidrógeno es un concepto importante, porque el texto científico humano lo dice aproximadamente cada tres frases mientras agita un diagrama molecular. Pero cuando la respuesta correcta requiere notar que el concepto familiar apunta en la dirección equivocada, el modelo puede seguir la frase en lugar de las fuerzas, como un turista que obedece un cartel que dice playa y camina directamente hacia una fuente decorativa.

El lenguaje puede ser el andamio y el techo

Semakin presenta el hallazgo como un “análogo maquínico de la relatividad lingüística”, y esa formulación está haciendo un trabajo real. La afirmación no es que los LLM estén haciendo metafísica en secreto entre tokens. Es que su aparente razonamiento físico puede heredar la estructura de las explicaciones humanas, incluidos nuestros conceptos favoritos, nuestros atajos y nuestros puntos ciegos.

Los casos con igual número de enlaces de hidrógeno hacen que el punto sea más claro. Según Human Language Shapes the Emerging Physical Reasoning in Large Language Models, los modelos son más precisos en moléculas donde la explicación invoca de forma natural los enlaces de hidrógeno, mientras que las moléculas gobernadas por tensión de anillo siguen siendo difíciles. En otras palabras, los modelos funcionan mejor cuando la historia física se ajusta limpiamente a una frase química muy usada, y peor cuando el factor importante es menos dominante lingüísticamente. Eso no es inútil. Es un mapa con autopistas brillantes y calles secundarias ausentes.

Para quienes construyen estos sistemas, la lección es brutalmente práctica: no te detengas en la precisión agregada. Prueba los modelos con contraejemplos donde la heurística del libro de texto falla, y separa el reconocimiento de conceptos del razonamiento cuantitativo. Para los investigadores, la pregunta abierta es si el lenguaje está causando la limitación o simplemente revelando lo que los datos de entrenamiento hicieron fácil. De cualquier manera, el próximo benchmark serio de LLM científicos no debería preguntar solo si el modelo acierta la respuesta. Debería preguntar qué oración humana está obedeciendo accidentalmente el modelo.