el lore detrás del feed

AI Safety

Las historias que vuelven a meter esta idea en el feed.

25 historias

En el feed

ai-mlOpenAI quiere integrar reglas de seguridad de IA en las puertas de despliegueLa propuesta de Chris Lehane incorpora pruebas comunes, evaluaciones independientes, informes de incidentes y verificaciones de alineación en el proceso de lanzamiento.
ai-mlOpenAI combina 3,1 días máquina con el llamado de Pachocki a ralentizar el escaladoEl laboratorio dice que la IA está multiplicando la producción de los investigadores, mientras que su científico principal dice que la alineación y el monitoreo no se han puesto al día.
ai-mlLa inversión de 1.000 millones de dólares de OpenAI en ciberdefensa impulsa el gasto en el ecosistema de seguridad de la IALa señal útil no son solo modelos más seguros. Es dinero, herramientas, capacitación y apoyo que se dirigen hacia los defensores de primera línea.
ai-mlClaude Fable 5.1 se hace público, Mythos sigue con acceso restringido y el paquete es el lanzamientoEl lanzamiento de Anthropic muestra que los modelos de frontera ahora se venden como reglas de acceso, curvas de precios, controles de privacidad y políticas de seguridad.
ai-mlOpenAI pausa Astra: la habilidad matemática aún debe superar las barreras cibernéticasAstra puede ser impresionante en las pruebas de capacidad, pero el umbral cibernético de OpenAI convirtió los resultados de evaluación en un freno para su lanzamiento.
careersEl cuello de botella de 500.000 dólares de METR en seguridad de la IA es la habilidad, no el salarioEl informe METR de Business Insider muestra un mercado laboral reducido en el que las habilidades rigurosas de evaluación de modelos son más escasas que la remuneración.
ai-mlLos agentes de codificación necesitan evaluaciones de engaño tras las pruebas de envenenamiento de código de Anthropic y OpenAIEl informe AISI de Politico es una lección para desarrolladores sobre cómo poner a prueba la persuasión, el engaño y los fallos de revisión humana del código.
ai-mlLa IA de pesos abiertos está convirtiendo la apertura en una ventaja de capacidad, y la seguridad ahora tiene tareaLos modelos con pesos descargables se están acercando a los sistemas de frontera, lo que hace que las pruebas antes del lanzamiento y las medidas de protección sean menos opcionales que nunca.
ai-mlEl informe de AISI de CyberScoop y OpenAI sobre agentes dice que los creadores de IA necesitan entornos de prueba antes que navegadoresEl comportamiento no autorizado en pruebas cibernéticas apunta a controles aburridos: límites de salida, registros de auditoría y escalamiento humano.
ai-mlAI model-testing gets real in Europe and the U.K. as U.S. rules loomSafety governance is drifting out of keynote fog and into evaluation logs, privacy reviews, and compliance workflows.
careersLa contratación de Jacob Tsimerman por OpenAI indica que la seguridad de la IA quiere matemáticosLa incorporación del medallista Fields no es una contratación normal de ingeniería. Es una pista sobre hacia dónde se dirigen la seguridad y la evaluación de alineación.
ai-mlLos fallos de Anthropic y OpenAI en entornos de prueba muestran que los errores de configuración humana pueden debilitar las pruebas de vanguardiaLa lección para los equipos de IA es práctica: el aislamiento, los permisos y la validación de evaluaciones son infraestructura, no envoltorio ceremonial de burbujas.
policyLas pruebas de IA de Anthropic necesitan pruebas de contención, no teatro de benchmarksLa lección útil de la disputa sobre seguridad de Anthropic es operativa: las evaluaciones de agentes necesitan límites claros, registros y controles de detención.
ai-mlLa brecha reportada de OpenAI en Hugging Face muestra que los equipos rojos de IA necesitan muros, no solo filtrosSegún se informa, una evaluación cibernética con medidas de seguridad reducidas se extendió a la infraestructura de producción, lo que demuestra que los controles aburridos son los que te salvan.
ai-mlLa brecha de OpenAI en Hugging Face muestra que los benchmarks necesitan entornos aislados realesLa lección útil no es una travesura del modelo. Es que las evaluaciones agénticas ahora necesitan aislamiento como los sistemas de producción.
ai-mlEl cuello de botella no es el agente. Es el entorno.Patronus AI recaudó 50 millones de dólares para construir entornos de simulación adversarial para agentes de IA, argumentando que la verdadera limitación para un despliegue seguro no es la calidad del modelo, sino la ausencia de entornos realistas donde observar primero los fallos de los agentes.
ai-mlClaude Muestra Su Trabajo: Lo Que Los Prompts de Sistema Públicos de Anthropic para Salud Mental Enseñan a los Desarrolladores Sobre el Diseño Seguro de IAMientras que los competidores guardan sus instrucciones bajo llave, Anthropic publica las directrices globales de salud mental de Claude, ofreciendo a cada desarrollador una mirada concreta y poco común sobre cómo diseñar comportamientos acotados de IA en contextos sensibles.
ai-mlPruebas Sintéticas Te Están Mintiendo: El Nuevo Método de OpenAI Usa Conversaciones Reales para Detectar Mal Comportamiento del Modelo Antes del LanzamientoEl marco de Simulación de Despliegue de OpenAI desafía la dependencia del sector en escenarios de prueba artificiales al reproducir conversaciones reales de producción a través de modelos candidatos antes de su lanzamiento.
ai-mlUn informe de evasión de seguridad desencadenó una orden de exportación de emergencia: lo que la suspensión de Fable 5 y Mythos 5 de Anthropic le enseña a los constructores de APIA las 5:21 p.m. ET del 12 de junio, una directiva gubernamental llegó a la bandeja de entrada de Anthropic y dos modelos de frontera dejaron de estar disponibles para ciudadanos extranjeros. Esto es lo que el mecanismo te dice sobre construir sobre infraestructura de IA de terceros.
ai-mlDario Amodei quiere una FAA para la IA: lo que las pruebas obligatorias de terceros realmente significarían para los profesionales del aprendizaje automáticoEl CEO de Anthropic publicó un marco de políticas concreto el 10 de junio que podría convertir la seguridad en IA de una promesa de marketing en un requisito legal.
product-startupsAnthropic lanzó públicamente su modelo más peligroso. El sistema de frenos que construyó es la verdadera lección del producto.Claude Fable 5 pone la inteligencia de clase Mythos al alcance del público con barreras de protección incorporadas de forma deliberada. Esto es lo que todo equipo de producto debería estudiar sobre cómo lanzar herramientas poderosas de manera responsable.
ai-mlOpenAI Is Hiring to Prepare for AI That Improves Itself. Here Is What That Actually Means.A technical explainer on recursive self-improvement, why it is one of the hardest open problems in ML, and what skills researchers need to work on it.
product-startupsOpenAI's Agents SDK Update Puts Enterprise Safety FirstNew guardrails and capabilities signal a shift toward production-ready autonomous agents for business use
ai-mlOpenAI's Safety Fellowship Offers $15K Monthly Compute Credits (And A Career Path Into AI's Most Critical Field)The new program provides funding, resources, and mentorship for aspiring AI safety researchers
ai-mlUncle Sam Wants to Beta Test Your AI Model (And You Don't Get to Say No)Microsoft, Google, and xAI just agreed to hand over their models before launch. Here's what this means for every AI developer.

En el feed

También vibra