स्टार्टअप · 3 अग॰
Supabase Evals एक दांव है कि हर डेवलपर प्लेटफ़ॉर्म को अपने एजेंट बेंचमार्क की ज़रूरत है
यह ओपन सोर्स फ़्रेमवर्क वास्तविक Supabase कार्यों पर Claude Code, Codex और OpenCode का परीक्षण करता है, फिर एक सार्वजनिक बेंचमार्क और दैनिक रिग्रेशन सूट को डेटा प्रदान करता है।
- एजेंट मूल्यांकनों को मॉडल दिखावे के बजाय उत्पाद QA की तरह मानें।
- उन वर्कफ़्लो का बेंचमार्क करें जिन्हें उपयोगकर्ता वास्तव में चलाते हैं, फिर परिणामों को दैनिक रिग्रेशन जाँचों में जोड़ें।
- प्लेटफ़ॉर्म-विशिष्ट परीक्षण उन विफलताओं को उजागर कर सकते हैं जिन्हें सामान्य कोडिंग बेंचमार्क चूक जाते हैं।