ठंडा और गरम: अपने चलाए वॉयस मॉडल पर प्रीफ़िक्स कैशिंग
हमारे अपने चलाए मॉडल को जवाब शुरू करने में लगभग दो सेकंड लगते थे, और हमें पक्का लगा कि कैशिंग टूटी है। वह नहीं टूटी थी। गरम GPU पर पहली कॉल के बारे में हमने क्या सीखा।
Aika के डेमो के लिए हम अपने एक GPU पर एक ओपन मॉडल चलाते हैं। फ़ोन कॉल पर सबसे ज़्यादा यह मायने रखता है कि मॉडल कितनी जल्दी जवाब देना शुरू करता है, क्योंकि तब तक कॉलर ख़ामोशी में बैठा रहता है। हमने पहले टोकन तक 800 ms की सीमा तय की।
हमारी रेडीनेस जाँच बार-बार इसमें फ़ेल होती रही। पहला जवाब लगभग 1.9 सेकंड लेता था, और सर्वर के काउंटर कहते थे कि प्रीफ़िक्स कैश एक बार भी इस्तेमाल नहीं हुआ। हमें काफ़ी भरोसा था कि कैशिंग टूटी है, और हम बग ढूँढने लगे।
बग नहीं था, कम से कम वह नहीं जो हम ढूँढ रहे थे। यह पोस्ट इस बारे में है कि असल में क्या हो रहा था, क्योंकि बातचीत के लिए अपना मॉडल चलाने वाले हर व्यक्ति के साथ यही होगा।
समस्या प्रॉम्प्ट है
वॉयस असिस्टेंट का प्रॉम्प्ट लंबा होता है और हर बारी पर ज़्यादातर वही रहता है। हमारा लगभग 22,000 टोकन का है: निर्देश, टूल्स के विवरण, कॉलर के बारे में जो हम जानते हैं, और अब तक की बातचीत। किसी भी बारी पर सिर्फ़ आख़िरी कुछ सौ टोकन नए होते हैं, ज़्यादातर वह जो कॉलर ने अभी कहा।
पहला टोकन बनाने से पहले मॉडल को पूरा प्रॉम्प्ट पढ़ना पड़ता है। पढ़ने का यह क़दम, प्रीफ़िल, लंबे प्रॉम्प्ट पर ज़्यादातर इंतज़ार की वजह है। प्रीफ़िक्स कैशिंग से इसकी क़ीमत दोबारा नहीं चुकानी पड़ती: सर्वर प्रॉम्प्ट की शुरुआत पर किया गया काम रख लेता है, और जब अगला अनुरोध बिल्कुल उन्हीं टोकन से शुरू होता है, तो उसे सिर्फ़ बदला हुआ हिस्सा पढ़ना पड़ता है।
तो गरम बारी तेज़ होनी चाहिए और ठंडी धीमी। हमारे आँकड़े हर बार ठंडे दिखते थे।
एक ही मशीन, तो कैश क्यों चूके?
जिस बात ने हमारा तरीक़ा तय किया, वह सीधी थी। यह एक ही मशीन है, सर्वरों के बीच अनुरोध बाँटने वाला कुछ नहीं, इसलिए एक जैसे प्रॉम्प्ट के कैश चूकने की कोई वजह नहीं। या तो प्रॉम्प्ट एक जैसे नहीं थे, या हम कुछ और माप रहे थे।
तो हमने सीधे टेस्ट किया। हमारे सामान्य स्टैक से एक के बाद एक छह नए सेशन, और फिर नियंत्रण के तौर पर सीधे मॉडल को तीन बाइट-दर-बाइट एक जैसे अनुरोध।
छह सेशन का पहले टोकन तक का मीडियन 530 ms रहा, और हर एक ने अपने 22,647 प्रॉम्प्ट टोकन में से 21,952 कैश से दोबारा इस्तेमाल किए। नियंत्रण ने भी अपने आप यही कहानी बताई: पहले एक जैसे अनुरोध पर शून्य कैश हिट, फिर अगले दो पर 97.5% दोबारा इस्तेमाल। नियंत्रण का अपना प्रॉम्प्ट था, इसलिए उसका हिस्सा सेशन के 96.9% से थोड़ा अलग है।
कैशिंग ठीक काम कर रही थी। हमारी रेडीनेस जाँच उसी एक अनुरोध को माप रही थी जो कभी कैश से नहीं मिल सकता: सर्वर शुरू होने के बाद का पहला। ख़ाली कैश में दोबारा इस्तेमाल करने को कुछ नहीं होता।
पहली कॉल ही मायने रखती है
यह मापने की ग़लती जैसा लगता है, और कुछ हद तक था भी। लेकिन यह एक असली समस्या की ओर भी इशारा करता है, क्योंकि फ़ोन लाइन पर कॉल की पहली बारी ही वह बारी है जिससे कॉलर आपको परखता है। "हेलो?" के बाद दो सेकंड की ख़ामोशी, और कॉल जल्दी कट जाती है।
इसलिए हमने वॉर्म-अप को ऑप्टिमाइज़ेशन मानना बंद किया और उसे मॉडल चालू करने का हिस्सा मानने लगे। तीन बातें मायने रखती थीं।
पहली बारी जो प्रीफ़िक्स भेजेगी, ठीक वही गरम करें। वॉर्म-अप तभी मदद करता है जब उसका प्रॉम्प्ट ठीक वैसे ही शुरू हो जैसे असली प्रॉम्प्ट। हमारे वॉर्म-अप के पहले वर्ज़न में टूल्स के विवरण छूट गए थे, जो प्रॉम्प्ट में शुरुआत में आते हैं। उसके बाद का सब कुछ अलग था, इसलिए असली पहली बारी वॉर्म-अप की तैयारी का लगभग सब कुछ चूक गई। शिप होने से पहले एक रिव्यू ने इसे पकड़ लिया।
प्रॉम्प्ट का क्रम स्थिर रखें। जो कुछ हर बारी बदलता है, उसे उस सब के बाद आना चाहिए जो नहीं बदलता। पहले निर्देश, फिर टूल्स, फिर अब तक की बातचीत, फिर बिल्कुल आख़िर में नई सामग्री। एक चीज़ हमने वैसे ही छोड़ दी: कॉल के बीच बदल सकने वाला कुछ कॉलर संदर्भ निर्देशों के भीतर है, इसलिए जब वह बदलता है, तो सर्वर वहाँ से आगे का सब कुछ फिर पढ़ता है। जिन बारियों में ऐसा होता है, उनके लिए हमने आगे ढाँचा बदलने के बजाय यह क़ीमत स्वीकार की।
असली रास्ता गरम करें, कोई शॉर्टकट नहीं। हमारी रेडीनेस जाँच अब कुछ भी मापने से पहले वही बातचीत का रास्ता तैयार करती है जो असली कॉल लेती है। इसके बाद रेडीनेस जाँचें पहले टोकन तक लगभग 470 से 540 ms के बीच पास हुईं।
शुरुआत करने वाले को हम क्या कहेंगे
ठंडे और गरम को अलग-अलग मापें। अपने चलाए मॉडल के लिए एक ही लेटेंसी आँकड़ा दो बहुत अलग चीज़ों को मिला देता है: शुरू होने के बाद का पहला अनुरोध, और उसके बाद का हर अनुरोध। इनका औसत निकालें तो ऐसा आँकड़ा मिलता है जो दोनों में से किसी का वर्णन नहीं करता।
सिर्फ़ काउंटर पर भरोसा न करें। कैश काउंटर सही थे। हम उन्हें ग़लत अनुरोध पर पढ़ रहे थे। सीधा नियंत्रण, यानी बीच में बिना कुछ लिए वही प्रॉम्प्ट मॉडल को दो बार भेजना, कैशिंग की समस्या और मापने की समस्या में फ़र्क़ करने का सबसे तेज़ तरीक़ा है।
और प्रॉम्प्ट के ढाँचे को परफ़ॉर्मेंस का फ़ैसला मानें। बदलने वाली चीज़ आप कहाँ रखते हैं, यही तय करता है कि सर्वर प्रॉम्प्ट का कितना हिस्सा रख सकता है। 22,000 टोकन के प्रॉम्प्ट पर, यही कुछ सौ टोकन पढ़ने और सारे पढ़ने का फ़र्क़ है।
संदर्भ और आगे पढ़ने के लिए
- vLLM, "Automatic prefix caching."
- vLLM, "Prefix caching: design."
- W. Kwon et al., "Efficient memory management for large language model serving with PagedAttention," SOSP, 2023.
- L. Zheng et al., "SGLang: Efficient execution of structured language model programs," 2024 (RadixAttention).
ऐसे उद्धृत करें
Aika Labs. 'ठंडा और गरम: अपने चलाए वॉयस मॉडल पर प्रीफ़िक्स कैशिंग.' aikalabs.ai/hi/blog/cold-and-warm-prefix-caching, 2026-11-18.