IA & ML · 25 sept.
PrismML réduit les grands modèles par 4 pour la vision 2B sur les lunettes intelligentes Qualcomm
L’entreprise affirme que son approche Bonsai à 1 bit permet de faire tenir de plus grands modèles dans une mémoire de la taille de celle de lunettes, tout en conservant presque toutes les performances de référence.
- Suivez la rétention des performances de référence par gigaoctet, et pas seulement les scores bruts des modèles, lors de l’évaluation des modèles d’IA en périphérie.
- Considérez l’inférence locale comme un choix de conception produit, avec des compromis en matière de confidentialité, de latence et de batterie qui doivent encore être prouvés.
- Attendez des tests indépendants avant de supposer que la démonstration de lunettes intelligentes de PrismML se généralisera aux produits commercialisés.