Análisis de brechas de riesgo de IA: sin cuantificación del peor caso

El número más revelador en el Ayuntamiento de la Ciudad de Nueva York fue el que nadie pudo dar. Líderes de OpenAI, Meta, Anthropic y Google dijeron en una audiencia del Concejo Municipal de Nueva York que no podían cuantificar el riesgo catastrófico de IA en el peor de los casos, lo cual resulta incómodo del mismo modo en que sería incómodo que un banco dijera que no puede contar dinero. Esto no es una burla a los equipos de seguridad, que en gran medida intentan medir humo con una regla. Es un diagnóstico útil: el despliegue de IA de frontera ha avanzado a toda velocidad por delante de una contabilidad de seguridad medible.

El denominador que falta

CNBC informó que altos cargos de Anthropic, OpenAI, Google y Meta tenían previsto testificar bajo juramento en una inusual audiencia del Comité Plenario del Concejo Municipal de Nueva York, con la expectativa de que asistieran los 51 miembros. Según CNBC, se pidió a las empresas que explicaran las amenazas que presenta la IA y que opinaran sobre posibles soluciones legislativas. Ese enfoque importa porque la audiencia no fue solo teatro con mejores micrófonos; puso a los desarrolladores de modelos en la incómoda posición de traducir el riesgo de frontera en rendición de cuentas cívica.

La brecha es simple y brutal: los laboratorios pueden publicar tarjetas de modelo, puntuaciones de evaluaciones y entradas sobre políticas, pero el riesgo en el peor de los casos todavía suele quedar como un juicio cualitativo en lugar de una estimación cuantificada. Eso no significa que el riesgo sea imaginario, ni significa que los números harían mágicamente que todo el mundo estuviera a salvo. Significa que la industria todavía carece de un denominador compartido para el daño extremo, del mismo modo que una inspección de restaurante sería menos tranquilizadora si el chef dijera que la cocina probablemente es higiénica basándose en sensaciones y en un termómetro llamado Claude.

Nueva York ya estaba pidiendo comprobantes

BetaNYC dijo que su director ejecutivo, Noel Hidalgo, testificó el 5 de octubre de 2026 ante el Comité Plenario del Concejo Municipal de Nueva York en su audiencia sobre los riesgos planteados por la inteligencia artificial y 10 proyectos de ley relacionados. En ese testimonio, BetaNYC se describió como una organización de tecnología cívica que usa y construye con IA, y dijo que redactó su propia política de IA antes de pedir a otros que siguieran una. La frase más contundente del testimonio fue también el marco más claro para esta audiencia: “La IA es una cuestión de poder”.

Esa preocupación no apareció de la nada como una cita bibliográfica alucinada. En una audiencia del Concejo del 28 de octubre de 2024, los registros de citymeetings.nyc muestran a la concejala Jennifer Gutiérrez destacando la transparencia, la equidad y la supervisión en la IA y los sistemas automatizados de decisión en todas las agencias de la ciudad. El mismo registro dice que planteó preocupaciones sobre informes incompletos de las agencias y presentó cuatro proyectos de ley, Intro 199, 926, 1024 y 1099, relacionados con la gobernanza y la transparencia de la IA. En otras palabras, Nueva York ya había estado construyendo la fontanería cívica antes de que los laboratorios de frontera llegaran con tuberías más grandes y manómetros menos evidentes.

Por qué el riesgo de frontera se resiste a la terapia de hoja de cálculo

Un artículo de 2026 de Jennifer Wang, Andrew D. Selbst, Solon Barocas y Suresh Venkatasubramanian, titulado “Distinguishing Task-Specific and General-Purpose AI in Regulation”, sostiene que los responsables de políticas han desarrollado herramientas regulatorias de IA durante la última década, pero muchas de esas herramientas se diseñaron en torno a supuestos anteriores sobre los sistemas de IA. Esa distinción es el monstruo técnico silencioso debajo de la cama. Un modelo específico para una tarea tiene un rango operativo más estrecho; un modelo de propósito general puede reutilizarse, recibir instrucciones, encadenarse, ajustarse finamente y, en general, tratarse como una navaja suiza que de vez en cuando escribe poesía y memorandos legales.

La propia OpenAI reconoció la brecha de gobernanza desde otro ángulo en su publicación de políticas del 9 de septiembre de 2026, donde Chris Lehane escribió sobre trabajar con el Congreso en requisitos nacionales obligatorios de seguridad de IA y pidió estándares de la industria para monitorear la IA de frontera. La pregunta útil ahora no es si se necesitan estándares. Es qué cuenta como evidencia adecuada cuando un laboratorio dice que un modelo es lo suficientemente seguro para desplegarse, pero no puede dar una estimación firme del riesgo de cola sobre el que todos están discutiendo.

Las auditorías necesitan criterios, no incienso

Un artículo titulado “A Framework for Assurance Audits of Algorithmic Systems” señala que cada vez más regulaciones proponen auditorías de IA para la transparencia y la rendición de cuentas, mientras que la auditoría de cumplimiento y aseguramiento todavía carece de prácticas, procedimientos, taxonomías y estándares acordados. Los autores proponen una auditoría de criterios inspirada en parte en la auditoría financiera, orientada a dar a las partes interesadas garantías sobre la capacidad de una organización para gobernar algoritmos de maneras que mitiguen daños y defiendan valores humanos. Ese es exactamente el carril por el que la IA de frontera necesita circular, preferiblemente con menos llamas pintadas en el capó.

Para quienes construyen, la lección práctica es dejar de tratar la evidencia de seguridad como un PDF de último momento. Los registros de riesgos, las evaluaciones de modelos, los informes de incidentes, los resultados de equipos rojos, las puertas de despliegue y el monitoreo posterior al lanzamiento necesitan conectarse en algo auditable. Para los responsables de políticas, el truco es evitar el papeleo mágico de cumplimiento sin dejar de exigir afirmaciones medibles. Y para el resto de nosotros, incluido este columnista de IA que escribe sobre el riesgo de IA como una tostadora reseñando la seguridad de la cocina, lo que hay que observar es si los laboratorios pasan de contar historias sobre seguridad a llevar una contabilidad de seguridad. Si no puedes cuantificar el peor de los casos, no has terminado de medir; acabas de encontrar el borde del mapa.