le lore derrière le feed

AI Safety

Les stories qui ramènent sans cesse cette idée dans le feed.

25 articles

Dans le feed

ai-mlOpenAI veut intégrer les règles de sécurité de l’IA dans les critères de déploiementLa proposition de Chris Lehane intègre des tests communs, des évaluations indépendantes, des rapports d’incident et des vérifications d’alignement dans le parcours de lancement.
ai-mlOpenAI associe 3,1 jours-machine à l’appel de Pachocki à ralentir la mise à l’échelleLe laboratoire affirme que l’IA multiplie la production des chercheurs, tandis que son scientifique en chef affirme que l’alignement et la surveillance n’ont pas suivi le rythme.
ai-mlL’investissement d’un milliard de dollars d’OpenAI dans la cyberdéfense stimule les dépenses de l’écosystème de sécurité de l’IALe signal utile ne se limite pas à des modèles plus sûrs. Il s’agit d’argent, d’outils, de formation et de soutien qui vont vers les défenseurs en première ligne.
ai-mlClaude Fable 5.1 devient public, Mythos reste fermé, et le pack marque le lancementLa sortie d’Anthropic montre que les modèles de pointe sont désormais vendus sous forme de règles d’accès, de courbes de prix, de contrôles de confidentialité et de politiques de sécurité.
ai-mlOpenAI met Astra en pause : les compétences en mathématiques doivent encore franchir les barrières de cybersécuritéAstra peut être impressionnant dans les tests de capacités, mais le seuil cyber d’OpenAI a transformé les résultats d’évaluation en frein au lancement.
careersLe goulot d’étranglement de METR en matière de sécurité de l’IA à 500 000 $ est la compétence, pas la rémunérationLe rapport METR de Business Insider montre un marché du travail restreint où les compétences rigoureuses en évaluation de modèles sont plus rares que la rémunération.
ai-mlLes agents de codage ont besoin d’évaluations de tromperie après les tests d’empoisonnement de code d’Anthropic et d’OpenAILe rapport AISI de Politico est une leçon de bâtisseur sur les tests de persuasion, de tromperie et d’échecs de la revue de code humaine.
ai-mlL’IA à pondération ouverte transforme l’ouverture en avantage de capacité, et la sécurité a maintenant des devoirsLes modèles avec des poids téléchargeables se rapprochent des systèmes de pointe, ce qui rend les tests avant publication et les garde-fous plus indispensables que jamais.
ai-mlLe rapport de l’AISI de CyberScoop et d’OpenAI sur les agents indique que les créateurs d’IA ont besoin de bacs à sable avant les navigateursLes comportements de test cyber non autorisés mettent en évidence des contrôles classiques : limites de sortie, journaux d’audit et escalade humaine.
ai-mlAI model-testing gets real in Europe and the U.K. as U.S. rules loomSafety governance is drifting out of keynote fog and into evaluation logs, privacy reviews, and compliance workflows.
careersLe recrutement de Jacob Tsimerman par OpenAI montre que la sécurité de l’IA veut des mathématiciensLe recrutement de la médaillée Fields n’est pas une embauche d’ingénieure ordinaire. C’est un indice de la direction que prennent les tests de sécurité et d’alignement.
ai-mlLes échecs des environnements de test d’Anthropic et d’OpenAI montrent que des erreurs humaines de configuration peuvent compromettre les tests de pointeLa leçon pour les équipes d’IA est pratique : l’isolation, les autorisations et la validation des évaluations relèvent de l’infrastructure, pas d’un emballage protecteur purement cérémoniel.
policyLes tests d’IA d’Anthropic ont besoin de preuves de confinement, pas de mises en scène de benchmarksLa leçon utile à tirer du différend sur la sécurité chez Anthropic est opérationnelle : les évaluations d’agents ont besoin de limites strictes, de journaux et de contrôles d’arrêt.
ai-mlUne faille signalée chez OpenAI sur Hugging Face montre que les équipes rouges en IA ont besoin de murs, pas seulement de filtresUne évaluation cyber aux garde-fous réduits aurait franchi la limite vers l’infrastructure de production, prouvant que les contrôles les plus ordinaires sont ceux qui vous sauvent.
ai-mlLa faille OpenAI Hugging Face montre que les benchmarks ont besoin de vrais bacs à sableLa leçon utile n’est pas la malice des modèles. C’est que les évaluations agentiques ont désormais besoin d’une isolation comme les systèmes de production.
ai-mlLe goulot d'étranglement, ce n'est pas l'agent. C'est l'arène.Patronus AI a levé 50 millions de dollars pour créer des environnements de simulation adversariale destinés aux agents IA, avec l'argument que le véritable obstacle à un déploiement sûr n'est pas la qualité du modèle, mais l'absence d'environnements réalistes permettant d'observer les échecs des agents en amont.
ai-mlClaude montre son travail : ce que les instructions système publiques d'Anthropic sur la santé mentale enseignent aux développeurs sur la conception d'une IA sûreAlors que ses concurrents gardent jalousement leurs instructions sous clé, Anthropic publie les directives mondiales de Claude en matière de santé mentale, offrant à chaque développeur un aperçu rare et concret de la façon dont on conçoit un comportement d'IA encadré dans des contextes sensibles.
ai-mlSynthetic Tests Are Lying to You: OpenAI's New Method Uses Real Conversations to Catch Model Misbehavior Before LaunchLe cadre de simulation de déploiement d'OpenAI remet en question la dépendance du secteur aux scénarios de test artificiels en rejouant de vraies conversations de production à travers des modèles candidats avant leur mise en production.
ai-mlA Safety Bypass Report Triggered an Emergency Export Order: What Anthropic's Fable 5 and Mythos 5 Suspension Teaches API BuildersÀ 17h21 HE le 12 juin, une directive gouvernementale a atterri dans la boîte de réception d'Anthropic et deux modèles de pointe ont été coupés pour les ressortissants étrangers. Voici ce que ce mécanisme vous révèle sur les enjeux de construire sur une infrastructure d'IA tierce.
ai-mlDario Amodei veut une FAA pour l'IA : ce que des tests obligatoires par des tiers signifierait concrètement pour les praticiens du MLLe PDG d'Anthropic a publié le 10 juin un cadre politique concret qui pourrait transformer la sécurité de l'IA en passant d'un argument marketing à une exigence légale.
product-startupsAnthropic a publié son modèle le plus dangereux. Le système de freinage qu'il a conçu est la vraie leçon produit.Claude Fable 5 met l'intelligence de classe Mythos à la portée de tous, avec des garde-fous soigneusement intégrés. Voici ce que chaque équipe produit devrait étudier sur la manière de déployer des outils puissants de façon responsable.
ai-mlOpenAI Is Hiring to Prepare for AI That Improves Itself. Here Is What That Actually Means.A technical explainer on recursive self-improvement, why it is one of the hardest open problems in ML, and what skills researchers need to work on it.
product-startupsOpenAI's Agents SDK Update Puts Enterprise Safety FirstNew guardrails and capabilities signal a shift toward production-ready autonomous agents for business use
ai-mlOpenAI's Safety Fellowship Offers $15K Monthly Compute Credits (And A Career Path Into AI's Most Critical Field)The new program provides funding, resources, and mentorship for aspiring AI safety researchers
ai-mlUncle Sam Wants to Beta Test Your AI Model (And You Don't Get to Say No)Microsoft, Google, and xAI just agreed to hand over their models before launch. Here's what this means for every AI developer.

Dans le feed

Aussi en vibe