IA y ML · 9 oct
Las laptops RTX Spark promocionan modelos locales de 120B, un contexto de un millón y afirmaciones de superar a GPT-5 de 284B
Lo interesante no es la flexibilidad. Es si la memoria, los vatios y el almacenamiento pueden hacer que la inferencia a escala de frontera se sienta utilizable en una computadora portátil.
- Evalúa las afirmaciones sobre IA en portátiles por la disposición de la memoria, la cuantización, la latencia y el consumo de energía, no solo por el número de parámetros.
- Prueba los modelos locales con tu carga de trabajo real antes de reemplazar las API en la nube.
- Observa de cerca las pilas de software, porque el almacenamiento, la RAM, la VRAM y los planificadores pueden importar tanto como el chip.