AgentX InferenceXv3 KV-Cache-Ökonomieanalyse

Ein Chatbot bittet um eine Antwort. Ein Agent bringt einen Rollkoffer, drei Sub-Agenten, eine Million Tokens Kontext und den aufrichtigen Glauben mit, dass dein Inferenzbudget lediglich ein Vorschlag ist. Der AgentX-InferenceXv3-Bericht von SemiAnalysis landet in dieser unbequemen, aber nützlichen Lücke zwischen Demo-Magie und Produktionsmathematik. Die Schlagzeilen sind ungewöhnlich direkt: SemiAnalysis nennt einen Datensatz im Wert von 3 Millionen USD, 1 Mio.+ Kontextlänge, Multi-Turn-Workloads, Sub-Agenten und eine KVCache-Trefferrate von 95%+. Das ist kein Schönheitswettbewerb für Modelle. Es ist ein Audit des Serving-Stacks im Trenchcoat.

Das Update laut SemiAnalysis

SemiAnalysis beschreibt AgentX 1.0 als einen vollständig Open-Source-, Multi-Turn-, agentischen Coding-Inferenz-Benchmark mit 1 Million Kontext, veröffentlicht unter Apache 2.0. Der Bericht rahmt die Veröffentlichung um eine konkrete Frage: ob der CUDA-Burggraben bei agentischer Inferenz standhält. Den Chip-Käfigkampf überlasse ich Theo, denn ihm gehört die Silizium-Donnerkuppel. Für Entwicklerinnen und Entwickler ist der unmittelbare Punkt einfacher: Der Benchmark ist auf Agentenverhalten ausgelegt, nicht nur auf höfliches „Prompt rein, Antwort raus“-Chatten.

SemiAnalysis sagt außerdem, dass Long-Context-, Multi-Turn-, agentische Workloads seit dem Claude-Code-Wendepunkt im November 2025 schnell gewachsen sind und inzwischen den Traffic für Produktionsinferenz dominieren. Derselbe Bericht sagt, dass OpenAIs Enterprise-Ausgaben für Agentik die ChatGPT-Ausgaben im April 2026 überholt haben. Das sind große Behauptungen, und die operative Konsequenz ist größer als das Branding. Wenn dein Benchmark immer noch wie ein einzelner, sauberer Austausch aussieht, misst dein Testaufbau vielleicht eine Yoga-Pose, während die Produktion in einem fahrenden Lkw Möbel zusammenbaut.

Das Schlachtfeld ist Cache-Verhalten, argumentiert SemiAnalysis durch

das, was gemessen wird Der wichtigste Teil des SemiAnalysis-Teasers könnte sein, was er nebeneinanderstellt: 1 Mio.+ Kontextlänge, Multi-Turn, Sub-Agenten und 95%+ KVCache-Trefferrate. Diese Kombination zeigt Entwicklerinnen und Entwicklern, wohin sich die Belastung verlagert. Agentische Systeme sammeln Kontext an, greifen auf frühere Arbeit zurück und verteilen Arbeit auf Sub-Agenten, daher muss die Serving-Schicht als Teil des Produkts bewertet werden, nicht als langweiliges Installationsdetail, das hinter der Model Card versteckt ist. Ärgerlicherweise ist die Installation genau der Ort, an dem der Keller überflutet wird.

Das bedeutet nicht, dass Modellqualität nicht mehr wichtig ist. Es bedeutet, dass Modellqualität allein eine unvollständige Erklärung für Agentenkosten und Latenz ist, sobald Workloads lang und mehrstufig sind. SemiAnalysis fordert Anbieter und Nutzer im Grunde auf zu zeigen, wie sich das System unter der Form echten Agenten-Traffics verhält. Die praktische Lehre ist, die KVCache-Trefferrate als erstklassige Benchmark-Metrik zu behandeln, weil der Bericht das tut, statt sie als Fußnote für die drei Personen zu betrachten, die Profiler-Ausgaben zum Spaß lesen.

InferenceX verwandelt agentisches Serving in eine Kostentabelle

Die begleitende InferenceX-Übersicht von SemiAnalysis gibt agentische Inferenzkosten als Kosten pro Million Gesamt-Tokens an, wobei niedriger besser ist. Sie sagt, dass die Zahlen die jeweils beste beobachtete Serving-Hülle jeder Plattform für das gezeigte Szenario mit jedem Modell verwenden, basierend auf InferenceX und den SemiAnalysis-Market-Preisumfragen vom Juli 2026 sowie einem AI-Cloud-TCO-Modell. Das ist wichtig, weil es bei agentischer Inferenz nicht nur um generierte Tokens geht, sondern um die gesamte Serving-Hülle rund um einen Workload. Die Tabellenkalkulation ist dem Chat beigetreten, und sie hat Belege mitgebracht.

Für das in InferenceX gezeigte DeepSeek-V4-Pro-1.6T-Szenario vergleicht die Tabelle B200 Reference, MI355X, B300, GB200 NVL72 und GB300 NVL72. InferenceX listet MI355X mit 0,355 USD pro Million Gesamt-Tokens und beschreibt es als 18% teurer als B200, mit SGLang und FP4. B300 wird mit 0,245 USD aufgeführt und als 18% günstiger als B200 beschrieben, ebenfalls mit SGLang und FP4, während die B200-Referenz mit vLLM und FP4 gezeigt wird. Das Interessante ist nicht nur, welche Zeile günstiger ist. Es ist, dass Software-Stack, Präzision, Plattform und Workload-Form in der Kostengeschichte inzwischen untrennbar miteinander verbunden sind.

Was Entwicklerinnen und Entwickler als Nächstes tun sollten, basierend auf

SemiAnalysis und InferenceX Zusammengenommen legen der AgentX-Bericht von SemiAnalysis und die InferenceX-Kostenübersicht eine nützlichere Evaluationsschleife für Agentenprodukte nahe. Benchmarke mit langem Kontext, wenn dein Produkt langen Kontext nutzt. Teste Multi-Turn- und Sub-Agenten-Workflows, wenn dein Produkt davon abhängt. Verfolge die KVCache-Trefferrate, weil SemiAnalysis 95%+ als Schlagzeilen-Eigenschaft hervorhebt, und vergleiche Kosten pro Million Gesamt-Tokens, weil InferenceX dies als Einheit des wirtschaftlichen Vergleichs verwendet.

Als Nächstes sollte man beobachten, ob mehr Anbieter agentenförmige Inferenzergebnisse veröffentlichen statt chatförmiger Ehrenrunden. Entwicklerinnen und Entwickler sollten Ergebnisse für den Workload verlangen, den sie tatsächlich ausführen, einschließlich Kontextlänge, Turn-Struktur, Serving-Stack und Gesamt-Token-Kosten. Auch Investorinnen und Investoren sollten aufmerksam sein, denn Agentenmargen könnten genauso stark von Serving-Effizienz abhängen wie davon, welcher Modellname im Pitch Deck am besten aussieht. Das Modell kann immer noch brillant sein, aber beim Agenten-Serving hat die Buchhaltung den Cache entdeckt.