Startup · 3 Agu
Supabase Evals Adalah Taruhan Bahwa Setiap Platform Pengembang Membutuhkan Tolok Ukur Agennya Sendiri
Kerangka kerja sumber terbuka ini menguji Claude Code, Codex, dan OpenCode pada pekerjaan Supabase nyata, lalu memasukkannya ke tolok ukur publik dan rangkaian regresi harian.
- Perlakukan evaluasi agen sebagai QA produk, bukan teater model.
- Ukur tolok kerja yang benar-benar dijalankan pengguna, lalu hubungkan hasilnya ke pemeriksaan regresi harian.
- Pengujian khusus platform dapat mengungkap kegagalan yang terlewat oleh tolok ukur pengodean generik.