Arm AGI CPU का दावा: प्रति रैक 2x — एजेंट AI विश्लेषण

क्लासिक CPU टेस्ट से AI एजेंटों को बेंचमार्क करना अब कुछ-कुछ ऐसा लगने लगा है जैसे किसी रेस्तरां की टाइमिंग इस बात से मापना कि माइक्रोवेव कितनी जल्दी बीप करता है। असली मुश्किल तो वेटर, रिज़र्वेशन बुक, गलत जगह रखी हुई कांटी, और वह ग्राहक है जो ग्लूटेन-फ्री क्वांटम फोम चाहता है। Signal65 द्वारा विश्लेषित Arm की AGI CPU पिच इस पूरी गड़बड़ी को रैक-लेवल नजरिए से देखती है: सिर्फ यह नहीं कि प्रोसेसर कितनी तेज़ चलता है, बल्कि यह कि जब बिजली और जगह किसी VC डेक की तरह फैलने से इनकार कर दें, तब एक रैक कितना उपयोगी एजेंट काम पूरा करता है। यह सिलिकॉन से जुड़ा दावा तो है ही, लेकिन यह बड़े पैमाने पर एजेंट तैनात करने वाले किसी भी व्यक्ति के लिए एक उपयोगी चेतावनी भी है।

Signal65 बेंचमार्क में रैक को केंद्र में रखता है

Signal65 एजेंटिक AI को ऐसे वर्कलोड के रूप में बताता है जहाँ CPU केवल मॉडल इन्फरेंस से ज़्यादा काम कर रहे होते हैं, क्योंकि एजेंट लगातार टूल चलाते हैं, डेटा एक्सेस करते हैं, सेवाएँ कॉल करते हैं, और अलग-थलग वातावरणों के भीतर काम करते हैं। विश्लेषण के अनुसार, इससे रैक तुलना की अधिक व्यावहारिक इकाई बन जाता है, क्योंकि बिजली और जगह AI इन्फ्रास्ट्रक्चर की वृद्धि को सीमित करती हैं। आसान भाषा में: किसी को फर्क नहीं पड़ता कि आपका सर्वर कितनी तेज़ी से बेंच प्रेस कर सकता है, अगर वह लिफ्ट में फिट ही नहीं हो सकता।

Signal65 कहता है कि Arm का AGI CPU, एजेंटिक AI के लिए खास तौर पर बनाया गया Arm का पहला प्रोडक्शन सिलिकॉन है, जिसमें हाई-परफॉर्मेंस Neoverse V3 कोर और बड़ा मेमोरी सपोर्ट शामिल है। वही विश्लेषण एक प्रमुख x86 प्रोसेसर की तुलना में प्रति रैक 2x अधिक काम की रिपोर्ट करता है। दिलचस्प बात जीत का चक्कर लगाने वाला नंबर नहीं है, बल्कि माप की इकाई है: रैक सीमाओं के भीतर पूरा हुआ एजेंट काम, न कि किसी स्प्रेडशीट में जैज़ हैंड्स करता हुआ अकेला थ्रूपुट स्कोर।

SPEC CPU2026 दिखाता है कि सामान्य स्कोर अब भी क्यों मायने रखते हैं

arXiv पर SPEC CPU2026 पेपर इस बात का उपयोगी संदर्भ देता है कि यह बेंचमार्क बहस अचानक कम अकादमिक और खरीद-निर्णय के अधिक करीब क्यों हो गई है। लेखक लिखते हैं कि विशेषीकृत एक्सेलरेटर AI वर्कलोड पर हावी हैं, लेकिन latency-sensitive वर्कलोड, agentic AI, और रोज़मर्रा की सेवाओं के लिए CPU अब भी महत्वपूर्ण हैं। SPEC CPU2017 की तुलना में, पेपर रिपोर्ट करता है कि SPEC CPU2026 में instruction volume, memory footprint, और instruction cache stress बढ़ता है।

इसका मतलब यह नहीं कि SPEC CPU2026 जादुई तरीके से एक छोटा बैज लगाए हुए एजेंट बेंचमार्क बन जाता है। arXiv पेपर SPEC CPU2026 को एक पूरक general-purpose suite के रूप में बताता है: पहले की CPU बेंचमार्क पीढ़ियों की तुलना में datacenter जैसी frontend pressure के ज़्यादा करीब, फिर भी MLPerf से कम vector-intensive और DCPerf से कम frontend-extreme। इंसानी भाषा में, SPEC अब भी एक फिटनेस टेस्ट है, आपके एजेंट का सिमुलेशन नहीं जिसमें वह बारह टैब खोलता है, तीन API कॉल करता है, भूल जाता है कि कमरे में क्यों आया था, और फिर पूरे आत्मविश्वास से टिकट फाइल कर देता है।

XPerf एजेंट वाली गड़बड़ी पर सीधे हमला करता है

XPerf पर एक अलग arXiv पेपर agentic workloads के लिए LLM serving systems के भीतर की अव्यवस्था को निशाना बनाता है। लेखक कहते हैं कि agentic applications को बेंचमार्क करना कठिन है क्योंकि nondeterministic LLM outputs control flow को guide करते हैं, इसलिए workload patterns हर रन में अनपेक्षित रूप से बदलते रहते हैं। XPerf इसका जवाब fine-grained trace replay से देता है, जिससे उपयोगकर्ता वास्तविक agentic applications से traces collect कर सकते हैं, ज़रूरत पड़ने पर अलग-अलग patterns वाले workloads synthesize कर सकते हैं, और उन्हें अलग-अलग LLM serving systems पर reproducibly replay कर सकते हैं।

@title XPerf रीप्ले लूप
@source Benchmarking LLM Serving Systems for Agentic AI Workloads with XPerf

  Collect traces
    │
    ▼
  Synthesize workloads
    │
    ▼
  Replay systems

@caption XPerf trace replay के ज़रिए agent workload variation को घटाता है।

XPerf पेपर कहता है कि framework में coding, deep research, और QA जैसे use cases में फैली आठ agentic applications शामिल हैं। यह इसलिए मायने रखता है क्योंकि agent benchmarks को उस अजीबपन को बचाए रखना चाहिए जो agents को महँगा बनाता है: loops, tool calls, retrieval, evaluation, और branching behavior। कोई benchmark जो इस सबको average tokens per second में समतल कर देता है, वह मूल रूप से एक रैकून का वजन यह विनम्र अनुरोध करके नाप रहा है कि कृपया स्थिर बैठ जाए।

Meta मांग का संकेत है, प्रमाण नहीं

Axios ने रिपोर्ट किया कि Meta ने AI models की एक नई family लॉन्च की है, जिसके बारे में उसका कहना है कि वे OpenAI, Anthropic, और Google से मुकाबला कर सकते हैं। Axios ने यह भी नोट किया कि Meta ने एक top AI research team और मुकाबले के लिए ज़रूरी computing infrastructure बनाने में भारी खर्च किया है। यह संदर्भ Arm के performance claim को प्रमाणित नहीं करता, लेकिन यह समझाता है कि agents के लिए CPU benchmarking अब lab curiosity के बजाय एक जीवंत infrastructure question क्यों बन गई है।

Builders के लिए सबक यह नहीं है कि purchase order पर 2x का टैटू बनवा लिया जाए। Arm के claim को अपने agent workload को उसी स्तर पर test करने के prompt की तरह इस्तेमाल करें जहाँ आपके users वास्तव में अनुभव करते हैं: tasks completed, tool latency, memory pressure, isolation overhead, और useful work per rack। Infra teams के लिए, भरोसे लायक अगली benchmark suite शायद drag race जैसी कम और अथक interns से भरे एक छोटे office जैसी ज़्यादा दिखेगी, जहाँ हर किसी के पास browser tabs, API keys, और quitting time की कोई समझ नहीं है।

CPU अब सिर्फ GPU का babysitter नहीं रहा। Agent land में, यह वह office manager है जिसके हाथ में calendar, fire extinguisher, और किसी तरह सारा दोष होता है।