AI और ML · 26 अग॰
OpenAI Jalapeño पर सेमीएनालिसिस: लैब्स GPU किराए पर लेना क्यों बंद करती हैं
दिलचस्प बात चिप का नाम नहीं है। यह तब टोकन परोसने का गणित है जब इन्फ़रेंस ही उत्पाद बन जाता है।
- प्रति कार्य अनुमान लागत, विलंबता और टोकन को मुख्य उत्पाद मेट्रिक्स के रूप में ट्रैक करें, न कि बैकएंड की मामूली बातों के रूप में।
- रिपोर्ट किए गए चिप बेंचमार्क को कार्यभार-विशिष्ट संकेतों के रूप में देखें, न कि इस सार्वभौमिक प्रमाण के रूप में कि कोई एक एक्सेलेरेटर हर चीज़ में जीतता है।
- बड़ी AI लैब्स से यह अपेक्षा करें कि वे लचीले कंप्यूट को रातोंरात छोड़ने के बजाय कस्टम ASICs को GPUs के साथ मिलाकर उपयोग करें।