AI & ML · 30 Agu
Penalaran AI hingga 11 kali lebih murah menempatkan efisiensi inferensi di atas tolok ukur
Pendekatan penalaran yang lebih murah menunjukkan bahwa kontes AI berikutnya mungkin akan berkaitan dengan ekonomi waktu proses, bukan konfeti papan peringkat.
- Perlakukan biaya inferensi sebagai metrik evaluasi inti, bukan sekadar pertimbangan tambahan di samping skor akurasi.
- Perhatikan teknik yang mengurangi token penalaran atau mengarahkan komputasi secara selektif, terutama untuk alur kerja agen.
- Jangan berasumsi bahwa biaya lebih murah per eksekusi berarti lebih murah pada skala besar; ukur latensi, percobaan ulang, dan total penggunaan token.