IA & ML · 9 oct.
Les ordinateurs portables RTX Spark mettent en avant des modèles locaux de 120 milliards de paramètres, un contexte d’un million de tokens et des affirmations selon lesquelles un modèle de 284 milliards bat GPT-5
La partie intéressante n’est pas la flexibilité. C’est de savoir si la mémoire, les watts et le stockage peuvent rendre l’inférence à l’échelle de pointe utilisable sur un ordinateur portable.
- Évaluez les affirmations sur l’IA des ordinateurs portables selon l’agencement de la mémoire, la quantification, la latence et la consommation d’énergie, et non uniquement selon le nombre de paramètres.
- Évaluez les modèles locaux sur votre charge de travail réelle avant de remplacer les API cloud.
- Surveillez de près les piles logicielles, car le stockage, la RAM, la VRAM et les ordonnanceurs peuvent compter autant que la puce.