रिग ही हमारा eval है
यूनिट टेस्ट यह नहीं बता सकते कि वॉयस असिस्टेंट ने कोई कॉल अच्छे से संभाली या नहीं। हम पूरी बातचीत दोबारा चलाते हैं, और हर ग़लत गई कॉल एक नया सीनारियो बन जाती है।
हमारे एक टेस्ट ऑर्डर पर हर यूनिट टेस्ट पास हो जाता। कॉलर ने जो भी माँगा, असिस्टेंट ने वह सर्च करके ढूँढ लिया, तो सर्च के टेस्ट ख़ुश थे। उसने हर सामान बास्केट में जोड़ा, तो बास्केट के टेस्ट ख़ुश थे। फिर ऑर्डर आगे ही नहीं बढ़ा। पिछली कॉल्स का बचा हुआ सामान नए सामान के साथ बास्केट में पड़ा था, स्टॉक में नहीं था, और किसी ने उसका ज़िक्र तक नहीं किया था।
हर हिस्से ने अपना काम किया। फिर भी बातचीत ग़लत गई। वॉयस प्रोडक्ट इसी खाई में रहता है, और हमारे लिए यही वजह है कि हमारा सबसे ज़रूरी टेस्ट असल में टेस्ट से ज़्यादा एक eval है। हम उसे रिग कहते हैं।
रिग क्या है
रिग पूरी बातचीत शुरू से आख़िर तक दोबारा चलाता है। एक स्क्रिप्टेड कॉलर किसी असली कॉल की बारियाँ बोलता है जो हमने देखी है। हमारी तरफ़ सब कुछ असली होता है: वही टर्न लूप जो लाइव कॉल्स पर चलता है, वही प्रॉम्प्ट, और हर काम संभालने वाला कोड। मॉडल लाइव भी हो सकते हैं, या उनकी जगह स्क्रिप्टेड जवाब, जिनकी कोई लागत नहीं और जो उनके आसपास की प्लंबिंग को परखते हैं। सिर्फ़ बाहरी दुनिया नकली होती है। दुकान एक नकली दुकान है जिसका अपना कैटलॉग, कार्ट और चेकआउट है, इसलिए कभी कुछ सच में ऑर्डर नहीं होता और किसी से सच में पैसे नहीं कटते।
फिर हर सीनारियो सीधे शब्दों में वे बातें जाँचता है जो सच होनी ही चाहिए। कॉलर कुछ माँगे या कुछ हटवाए, तो अगली बारी तक वह हो जाए। कॉलर ने जो सामान हटाया वह हटा ही रहे, और जो पेशकश उन्होंने ठुकराई वह दोबारा न की जाए। हर सवाल का जवाब मिले, कोई रटी-रटाई लाइन या चुप्पी नहीं। लाइव मॉडल्स के साथ, असिस्टेंट एक ही सामान पर गोल-गोल न घूमे। और जो बात शॉपिंग की नहीं है, उससे कभी शॉपिंग का काम शुरू न हो।
हम इसे eval क्यों कहते हैं
यूनिट टेस्ट हर बार एक ही जवाब की उम्मीद करता है। लाइव मॉडल के साथ बातचीत आपको यह नहीं देती। शब्द हर रन पर बदलते हैं, और कभी-कभी कोई फ़ैसला अलग तरह से होता है। इसलिए हम दुकान में किसी बदलाव को वैसे ही परखते हैं जैसे मॉडल बदलने को परखेंगे: कॉल्स दोबारा चलाकर और नतीजे जाँचकर, ठीक-ठीक शब्द कभी नहीं।
इससे किसी फ़ेलियर के बारे में हमारी सोच बदल जाती है। अगर कोई ज़रूरी शर्त तीन में से एक रन पर टूटती है, तो हम उसे असली समस्या मानते हैं और हरा होने तक दोबारा नहीं चलाते। इसका यह भी मतलब है कि हम हर सीनारियो की स्थिति साफ़ रखते हैं। अब हर सीनारियो, या एक-दूसरे पर टिके सीनारियो की हर कड़ी, अपनी अलग लेन में चलती है, अपने कार्ट और अपने टेस्ट अकाउंट के साथ, क्योंकि हमने जल्दी ही पाया कि एक सीनारियो का बचा हुआ कार्ट चुपचाप अगले को पास या फ़ेल करा सकता है।
हर ख़राब कॉल एक सीनारियो बनती है
रिग की शुरुआत कुछ असली टेस्ट शॉपिंग कॉल्स से हुई। यह उसी इकलौते तरीक़े से बढ़ा जैसे किसी eval को बढ़ना चाहिए: जब भी कोई टेस्ट कॉल ग़लत गई, हमने कुछ भी ठीक करने से पहले वह कॉल रिग में लिखी। एक कॉलर जिसने पोर्क सॉसेज माँगे और फिर ब्रांड के नाम से एक मैंगो ड्रिंक, और उसे कटे हुए सॉसेज के बारे में सुनने को मिला। एक कॉलर जिसने पिछला सामान चुनते-चुनते ही एक नया सामान बता दिया। अब इनमें से हर एक एक सीनारियो है, उस ज़रूरी शर्त के साथ जो इसे पकड़ लेती।
तब से यह शॉपिंग से काफ़ी आगे बढ़ गया है। रिमाइंडर, किसी और तक पहुँचाए जाने वाले संदेश, और कुंडली पढ़वाने का सेटअप, सबके अपने सीनारियो हैं, कुल मिलाकर ढाई सौ से ज़्यादा। जब टीम में कोई बताता है कि कोई कॉल ग़लत गई, तो हमारा पहला सवाल होता है कि कौन-सा सीनारियो इसे दोहराता है।
रिग सच नहीं है
रिग उतना ही अच्छा है जितनी उसकी नकली चीज़ें। अक्टूबर के आख़िर में हमारे शॉपिंग सीनारियो हरे थे, फिर भी पहले असली टेस्ट ऑर्डर ग़लत गए। नकली दुकान असली से सरल थी: उसमें पिछली कॉल्स का वह बचा-खुचा सामान था ही नहीं जो असली अकाउंट में जमा होता जाता है, इसलिए रिग ने बातचीत को एक ऐसी दुनिया के सामने परखा था जो मौजूद ही नहीं थी।
इसलिए हम हरे रिग को कभी असली कॉल छोड़ने की इजाज़त नहीं मानते। हम अब भी ख़ुद असली टेस्ट ऑर्डर देते हैं। रिग हमें जो देता है वह छोटा है, फिर भी बहुत क़ीमती: एक बार कोई फ़ेलियर देख लिया, तो वह हमारी जानकारी के बिना वापस नहीं आता। और असली कॉल पर हर फ़ेलियर नकली चीज़ों को असली के थोड़ा और क़रीब ले आता है।
गिनती तभी है जब यह चले
रिग का पहला वर्ज़न रात में एक बार चलता था। उसने कभी एक भी सीनारियो नहीं चलाया। एक छूटे हुए क्रेडेंशियल की वजह से हर रन किसी सीनारियो के शुरू होने से पहले ही हमारा कोड लाते समय फ़ेल हो जाता था, और क्योंकि यह किसी के रास्ते में नहीं था, किसी ने ध्यान नहीं दिया।
अब यह हर बदलाव के साथ चलता है। हमारा नियम है कि शॉपिंग, रिमाइंडर, किसी और तक पहुँचाए जाने वाले संदेश या कुंडली के सेटअप को छूने वाला कोई बदलाव तब तक लैंड नहीं होता जब तक उस पर रिग न चला लिया जाए, और हमारी main ब्रांच पर हर पुश के साथ सारे सीनारियो स्क्रिप्टेड जवाबों के साथ फिर से चलते हैं। वह रन ख़ुद की तुलना पिछली बार डिप्लॉय हुए वर्ज़न से करता है, और किसी सीनारियो पर तभी निशान लगाता है जब वह वहाँ हरा था, अब लाल है, और दूसरी बार चलाने पर भी लाल रहता है। स्क्रिप्टेड रन में मॉडल कॉल्स की कोई लागत नहीं, और सीनारियो साथ-साथ चलते हैं, इसलिए पूरा रन आधे घंटे से कम में हो जाता है। पैसे बचाना ऑप्टिमाइज़ करने की ग़लत चीज़ निकली। जो eval चलता ही नहीं वह कुछ नहीं पकड़ता, और जो हर बदलाव के साथ चलता है वह उसी दिन ठीक हो जाता है जिस दिन टूटता है।
हमारी सलाह
अगर आप ऐसा वॉयस असिस्टेंट बना रहे हैं जो लोगों के लिए काम करता है, तो हिस्सों के साथ-साथ पूरी बातचीत को भी टेस्ट करें। असली कॉल्स दोबारा चलाएँ, नतीजे सीधे शब्दों में जाँचें, और देखे गए हर फ़ेलियर को स्थायी सीनारियो बना दें। फिर उसे हर बदलाव पर चलाएँ, और फिर भी असली कॉल्स करते रहें।
संदर्भ और आगे पढ़ने के लिए
- H. Husain, "Your AI product needs evals," 2024.
- E. Yan, "Task-specific LLM evals that do and don't work," 2024.
- S. Yao et al., "τ-bench: A benchmark for tool-agent-user interaction in real-world domains," 2024.
ऐसे उद्धृत करें
Aika Labs. 'रिग ही हमारा eval है.' aikalabs.ai/hi/blog/the-rig-is-our-eval, 2026-11-20.