Klaim CPU AGI Arm 2x per rak: analisis AI agen

Membandingkan agen AI dengan pengujian CPU klasik mulai terlihat seperti menilai restoran dari seberapa cepat microwave berbunyi. Bagian tersulitnya adalah pelayan, buku reservasi, garpu yang salah tempat, dan pelanggan yang menginginkan busa kuantum bebas gluten. Promosi CPU AGI dari Arm, seperti dianalisis oleh Signal65, melihat kekacauan itu dari sudut pandang level rak: bukan hanya seberapa cepat prosesor berjalan, tetapi seberapa banyak pekerjaan agen yang berguna dapat diselesaikan sebuah rak ketika daya dan ruang tidak mau melebar seperti slide presentasi VC. Itu memang klaim silikon, tentu saja, tetapi juga peringatan yang berguna bagi siapa pun yang menerapkan agen dalam skala besar.

Signal65 menempatkan rak dalam benchmark

Signal65 menggambarkan AI agentik sebagai beban kerja di mana CPU melakukan lebih dari sekadar inferensi model, karena agen terus-menerus menjalankan alat, mengakses data, memanggil layanan, dan beroperasi di dalam lingkungan yang terisolasi. Menurut analisis tersebut, hal itu membuat rak menjadi unit perbandingan yang lebih praktis, karena daya dan ruang membatasi pertumbuhan infrastruktur AI. Terjemahannya: tidak ada yang peduli seberapa cepat server Anda bisa melakukan bench press jika server itu tidak muat di lift.

Signal65 mengatakan CPU AGI Arm adalah silikon produksi pertama Arm yang dibuat khusus untuk AI agentik, menggabungkan core Neoverse V3 berkinerja tinggi dengan dukungan memori yang besar. Analisis yang sama melaporkan 2x lebih banyak pekerjaan per rak dibandingkan prosesor x86 terkemuka. Bagian yang menarik bukan angka kemenangannya, melainkan unit pengukurannya: pekerjaan agen yang selesai di bawah batasan rak, bukan skor throughput kesepian yang pamer di spreadsheet.

SPEC CPU2026 menunjukkan mengapa skor generik tetap penting

Makalah SPEC CPU2026 di arXiv memberi konteks yang berguna tentang mengapa perdebatan benchmark ini tiba-tiba menjadi kurang akademis dan lebih dekat dengan keputusan pengadaan. Para penulis menulis bahwa akselerator khusus mendominasi beban kerja AI, tetapi CPU tetap penting untuk beban kerja yang sensitif terhadap latensi, AI agentik, dan layanan sehari-hari. Dibandingkan dengan SPEC CPU2017, makalah tersebut melaporkan bahwa SPEC CPU2026 meningkatkan volume instruksi, jejak memori, dan tekanan cache instruksi.

Itu tidak berarti SPEC CPU2026 secara ajaib menjadi benchmark agen yang memakai lencana kecil. Makalah arXiv tersebut menggambarkan SPEC CPU2026 sebagai rangkaian tujuan umum yang saling melengkapi: lebih dekat ke tekanan frontend ala pusat data dibandingkan generasi benchmark CPU sebelumnya, tetapi kurang intensif vektor dibandingkan MLPerf dan tidak seekstrem DCPerf dalam hal frontend. Dalam bahasa manusia, SPEC masih merupakan tes kebugaran, bukan simulasi agen Anda membuka dua belas tab, memanggil tiga API, lupa mengapa ia masuk ke ruangan, lalu dengan percaya diri membuat tiket.

XPerf menyerang kekacauan agen secara langsung

Makalah arXiv terpisah tentang XPerf membidik kekacauan di dalam sistem penyajian LLM untuk beban kerja agentik. Para penulis mengatakan aplikasi agentik sulit di-benchmark karena keluaran LLM yang nondeterministik mengarahkan alur kontrol, sehingga pola beban kerja bervariasi secara tak terduga dari satu run ke run berikutnya. XPerf merespons dengan replay jejak yang sangat rinci, memungkinkan pengguna mengumpulkan jejak dari aplikasi agentik nyata, mensintesis beban kerja dengan pola berbeda saat diperlukan, dan memutarnya ulang secara dapat direproduksi pada berbagai sistem penyajian LLM.

@title Loop replay XPerf
@source Benchmarking LLM Serving Systems for Agentic AI Workloads with XPerf

  Collect traces
    │
    ▼
  Synthesize workloads
    │
    ▼
  Replay systems

@caption XPerf mengurangi variasi beban kerja agen melalui replay jejak.

Makalah XPerf mengatakan framework tersebut mencakup delapan aplikasi agentik di berbagai kasus penggunaan seperti coding, riset mendalam, dan QA. Itu penting karena benchmark agen perlu mempertahankan keanehan yang membuat agen mahal: loop, panggilan alat, retrieval, evaluasi, dan perilaku bercabang. Benchmark yang meratakan semua itu menjadi rata-rata token per detik pada dasarnya seperti menimbang rakun dengan memintanya duduk diam secara sopan.

Meta adalah sinyal permintaan, bukan buktinya

Axios melaporkan bahwa Meta meluncurkan keluarga baru model AI yang menurutnya dapat bersaing dengan OpenAI, Anthropic, dan Google. Axios juga mencatat bahwa Meta telah mengeluarkan banyak dana untuk membentuk tim riset AI papan atas dan infrastruktur komputasi yang dibutuhkan untuk bersaing. Konteks itu tidak memvalidasi klaim performa Arm, tetapi menjelaskan mengapa benchmarking CPU untuk agen kini menjadi pertanyaan infrastruktur yang nyata, bukan sekadar rasa penasaran di lab.

Bagi para pembangun, pelajarannya bukan menato 2x pada pesanan pembelian. Gunakan klaim Arm sebagai dorongan untuk menguji beban kerja agen Anda sendiri pada level yang benar-benar dialami pengguna: tugas yang selesai, latensi alat, tekanan memori, overhead isolasi, dan pekerjaan berguna per rak. Bagi tim infrastruktur, rangkaian benchmark berikutnya yang layak dipercaya mungkin akan terlihat kurang seperti balapan drag dan lebih seperti kantor kecil penuh intern yang tak kenal lelah, masing-masing dengan tab browser, kunci API, dan tanpa konsep jam pulang.

CPU bukan lagi sekadar pengasuh GPU. Di dunia agen, CPU adalah manajer kantor yang memegang kalender, alat pemadam api, dan entah bagaimana, semua kesalahan.