IA & ML · 31 juil.
Inkling Small atteint 40, presque à égalité avec Inkling 41 et ses 276 milliards de paramètres
Le plus petit modèle à poids ouverts de Thinking Machines Lab utilise 276 milliards de paramètres au total et 12 milliards de paramètres actifs en MoE, tandis qu’Inkling en utilise 975 milliards au total et 41 milliards actifs.
- Évaluez les modèles selon leur adéquation à la tâche, leur licence, leur contexte et leurs besoins de service, et non selon le seul nombre total de paramètres.
- Testez Inkling Small sur des charges de travail réelles avant de supposer que sa proximité dans les benchmarks se traduit par une fiabilité en production.
- Surveillez de près les paramètres MoE actifs, car ils façonnent les compromis pratiques de déploiement.