Architecture PLA de l’IA neuronale : analyse au-delà des caméras

Un robot qui essaie de faire la lessive uniquement à partir des images d’une caméra, c’est un peu moi en train de monter un meuble en kit à partir d’une seule photo produit floue. Techniquement possible, spirituellement condamné. NEURA Robotics adopte une autre approche avec Neuron AI, un modèle d’IA physique construit autour de Perception-Language-Action, ou PLA, qui, selon Robotics and Automation News, combine vision 3D, toucher, audio, état du robot, langage et mémoire afin que les robots puissent agir au-delà de ce que les caméras peuvent capturer.

Ce cadrage compte, car la robotique réapprend sans cesse une leçon brutale : les pixels ne sont pas de la physique. Une caméra peut voir une vis, mais elle ne peut pas sentir si la vis a pris, entendre une contrainte, ni se souvenir que la chaussette a disparu derrière le panier. C’est là que l’IA incarnée cesse d’être une conférence TED en baskets et devient un problème d’ingénierie avec du couple.

Le pari du PLA est un argument en faveur de la fusion de capteurs

Selon Robotics and Automation News, Neuron AI relie ce qu’un robot voit, entend et ressent à ce qu’il a déjà fait, puis transforme ce contexte en action physique. David Reger, fondateur et PDG de NEURA, a résumé clairement l’idée dans le même article : « Un robot intelligent a besoin d’un cerveau qui rassemble ses sens et se souvient de ce qui s’est passé. » C’est moins un oracle de science-fiction qu’un système nerveux avec une file de tickets.

Le point important n’est pas que NEURA a ajouté davantage d’entrées, puis saupoudré le mot fondation par-dessus comme du paprika. Robotics and Automation News décrit une architecture PLA qui relie les informations sensorielles, la mémoire et l’action, ce qui fait toute la différence entre reconnaître une tasse et savoir que vous la tenez déjà à l’envers au-dessus d’un clavier. Mes condoléances au clavier, victime innocente d’une incarnation insuffisante.

@title Boucle PLA de Neuron AI
@source Robotics and Automation News

  3D vision ·········┐
  Touch ·············├→ PLA architecture
  Audio ·············│
  Robot state ·······│
  Language ··········│
  Memory ············┘
                       │
                       ▼
                 Physical action

@caption Neuron AI est présenté comme un chemin multisensoriel allant de la perception et de la mémoire à l’action.

L’IA physique réclamait cela

L’article arXiv de 2021 Physical Artificial Intelligence: The Concept Expansion of Next-Generation Artificial Intelligence soutient que l’IA était largement confinée au traitement des signaux numériques, notamment le traitement de texte, la reconnaissance d’objets dans les images et la reconnaissance vocale. C’est un travail utile, mais ce n’est pas la même chose que de gérer une réalité molle, bruyante et parfois tachée de café. Les robots ne peuvent pas dire : désolé, cet environnement est hors distribution, puis afficher un écran bleu à côté du lave-vaisselle.

L’article arXiv NeuroAI and Beyond précise ce point en identifiant la capacité limitée à interagir de manière robuste avec le monde physique comme l’un des grands écarts de capacités de l’IA actuelle. Il cite aussi l’apprentissage fragile et l’inefficacité des données comme des problèmes liés. Neuron AI est intéressant parce qu’il s’inscrit exactement dans cet écart : non pas comme une preuve que l’écart est comblé, mais comme une revendication de produit concrète sur la manière de construire des modèles qui perçoivent par plus d’un seul judas sensoriel.

La mémoire n’est pas une garniture, c’est la boucle

Robotics and Automation News rapporte que Neuron AI est conçu pour conserver le contexte pertinent lorsque des objets disparaissent du champ de vision. Cela paraît banal jusqu’à ce que l’on se rappelle à quel point le travail réel se déroule sous occlusion : les mains cachent les outils, les boîtes masquent les étiquettes, les vêtements se replient sur eux-mêmes, et le monde se comporte généralement comme un test unitaire malveillant. La mémoire est ce qui permet à un robot d’éviter de traiter chaque image comme un nouveau lever de soleil amnésique.

C’est aussi pour cela que le toucher et l’audio comptent. Robotics and Automation News note que les caméras capturent la géométrie, la couleur et la position, mais pas le contact, la force ni le son. En termes robotiques, une perception uniquement par caméra, c’est comme cuisiner en regardant une photo de soupe et en refusant d’utiliser sa langue, ce qui est courageux, juridiquement douteux, et probablement pas un dîner.

Le plus difficile est de le prouver en dehors de la voie de démonstration

L’article arXiv Embodied Neuromorphic Artificial Intelligence for Robotics indique que les technologies robotiques actuelles manquent encore d’intelligence incarnée pour interagir efficacement avec des environnements opérationnels, répondre par des actions attendues et s’adapter aux changements environnementaux. Voilà la montagne que Neuron AI est en train de gravir. L’annonce est un signal significatif, mais le lecteur devrait observer à quel point le système gère bien les tâches riches en contact, les objets cachés, les conditions changeantes et la récupération lorsque le monde fait ce qu’il sait faire de mieux : devenir agaçant.

Pour les concepteurs, la leçon est claire. Si vous concevez une IA robotique, ne vous arrêtez pas au raisonnement vision-langage en supposant que le bras comprendra le reste à l’instinct. Suivez la perception, l’état, la mémoire et l’action comme une seule boucle, puis exigez des évaluations montrant que la boucle fonctionne lorsque l’objet est occulté, que la surface glisse ou que l’indice sonore compte.

NEURA Robotics a donné à l’IA incarnée un vocabulaire utile avec PLA : perception, langage, action, plus le superpouvoir sous-estimé de se souvenir de ce qui vient de se passer. Le cerveau du robot devient plus intéressant, mais la pile de linge reste invaincue tant que la boucle d’action ne survit pas à un mardi ordinaire.