कब बोलना है, यह जानना: बातचीत में बोलने की बारी तय करना और भारतीय भाषाओं में डेटा की कमी

किसी वॉइस असिस्टेंट के चूकने का सबसे आम तरीका किसी शब्द को गलत सुनना नहीं है। बल्कि गलत समय पर बोल पड़ना है। यह या तो वाक्य के बीच में ही आपकी बात काट देता है, या फिर जब आप अपनी बात साफ़ तौर पर पूरी कर चुके होते हैं, तब भी टाइमर खत्म होने के इंतज़ार में दो सेकंड तक चुपचाप बैठा रहता है।

अंग्रेज़ी में, सब ठीक चले तो, इंजीनियरिंग के लिहाज़ से यह समस्या काफ़ी हद तक सुलझ चुकी है। लेकिन जैसे ही कॉल करने वाला हिंदी में, या फ़ोन पर ज़्यादातर लोगों द्वारा असल में बोली जाने वाली मिलीजुली हिंदी-अंग्रेज़ी में बात करने लगता है, यह व्यवस्था बिखर जाती है। यहाँ असली समस्या मॉडल नहीं हैं। समस्या डेटा है।

इंसान भी इसमें कच्चे हैं

शुरुआत यह स्वीकार करने से करना मददगार होगा कि लोग खुद भी इस काम में अच्छे नहीं होते। हम लगातार एक-दूसरे की बात काटते हैं। हम वाक्य के आखिरी हिस्से के ऊपर बोल पड़ते हैं, साँस लेने को पूर्णविराम समझ बैठते हैं, आपस में टकराते हैं, और फिर पीछे हट जाते हैं। किसी भी असली बातचीत को सुनकर देखिए—बिना किसी अंतराल के सुचारु रूप से बारी बदलने के ठीक साथ-साथ, एक-दूसरे के ऊपर बोल पड़ने और गलत शुरुआत का एक लगातार सिलसिला भी चलता रहता है, जिसे बोलने वाले बात के दौरान ही सुधारते चलते हैं।

लोग जिस चीज़ में अच्छे होते हैं, वह है गलती के बाद तुरंत संभल जाना। गलती से बोलने की बारी ले भी ली, तो कुछ सौ मिलीसेकंड के भीतर आप लगभग तुरंत ही पीछे हट जाते हैं—झट से एक "माफ़ कीजिए, आप बोलिए" के साथ, और मन में कोई खटास नहीं रहती। गलत होने की कीमत लगभग कुछ नहीं होती, और जो होती भी है वह तुरंत चुका दी जाती है। मशीन को ये दोनों ही छूट नहीं मिलतीं। उसे यह भांपने में ज़्यादा समय लगता है कि उसने आपकी बात काट दी है, बोलने की बारी वापस आपको देने में भी वह धीमी होती है, और उसे ऐसे मापदंड पर परखा जाता है जिस पर किसी इंसान को नहीं परखा जाता। कोई दोस्त अगर आपकी बात के बीच बोल पड़ता है, तो वह बस बातचीत कर रहा है। लेकिन वही काम करने वाला सिस्टम बदतमीज़ लगता है।

इसलिए किसी वॉइस एजेंट का लक्ष्य यह असंभव काम नहीं है कि बोलने की बारी पहचानने में उससे कभी चूक ही न हो। उसका लक्ष्य इंसानों जैसा ही है: गलती थोड़ी कम बार करे, जब गलती हो तो तुरंत संभल जाए, और उस माफ़ी का थोड़ा-सा हिस्सा हासिल करे जो लोग बिना सोचे-समझे एक-दूसरे को दे देते हैं। इस क्षेत्र में काम करने वाले ज़्यादातर लोग इन तीन में से सिर्फ़ पहले लक्ष्य के पीछे भाग रहे हैं।

बोलने की बारी का आदान-प्रदान

जब बोलने की बारी एक से दूसरे के पास साफ़-सुथरे ढंग से जाती है—और ज़्यादातर समय ऐसा ही होता है—तो यह काम बहुत तेज़ी से होता है। पाँच महाद्वीपों की दस भाषाओं में, एक व्यक्ति के बात खत्म करने और दूसरे के शुरू करने के बीच का सबसे आम अंतराल शून्य के करीब होता है, और इसका औसत लगभग 200 मिलीसेकंड रहता है (Stivers et al., 2009)।

यह आँकड़ा आपको खटकना चाहिए, क्योंकि 200 मिलीसेकंड इतना समय नहीं होता कि आप चुप्पी को सुनें और उस पर प्रतिक्रिया दें। यह तो मुश्किल से मुँह हिलाना शुरू करने भर का समय है। लोग यह रफ़्तार इसलिए पकड़ पाते हैं क्योंकि वे कही जा रही बात के ढर्रे को भांपकर, सामने वाले की बारी खत्म होने से पहले ही उसके अंत का अनुमान लगा लेते हैं। आवाज़ की पिच, बोलने की गति, उतार-चढ़ाव (इंटोनेशन), और व्याकरण के हिसाब से वाक्य का पूरा होना—ये सभी संकेत देते हैं, और इनमें से जितने ज़्यादा संकेत एक साथ मिलते हैं, सुनने वाले के बोलना शुरू करने की संभावना उतनी ही बढ़ जाती है (Gravano and Hirschberg, 2009)। बातचीत दरअसल पूर्वानुमान लगाने की एक समस्या है, और इंसान इसमें माहिर हैं।

"चुप्पी का इंतज़ार करना" गलत मॉडल क्यों है

ज़्यादातर वॉइस सिस्टम पूर्वानुमान नहीं लगाते। वे चुप्पी का इंतज़ार करते हैं और एक टाइमर चालू कर देते हैं। दिक्कत यह है कि किसी विचार के बीच का ठहराव सुनने में बिल्कुल वैसा ही लगता है जैसा विचार पूरा होने के बाद की चुप्पी। जैसा कि स्ट्रीमिंग रिकग्निशन पर 2017 के एक शोध-पत्र में कहा गया था—

चुप्पी की पहचान करना (साइलेंस डिटेक्शन) और बात या सवाल पूरा होने की पहचान करना (एंड-ऑफ़-क्वेरी डिटेक्शन) मूल रूप से दो अलग-अलग काम हैं।

यह एक अकेला वाक्य (Shannon et al., 2017) पूरी समस्या का सार है। अगर आप सिर्फ़ चुप्पी को माप रहे हैं, तो आप "मुझे अपना बैलेंस चेक करना है" और "मुझे अपना बैलेंस चेक करना है, और साथ ही..." के बीच तब तक फ़र्क नहीं कर सकते जब तक बोलने वाला या तो आगे बोलना जारी न रखे या रुक न जाए। इसलिए आप एक टाइमर लगाते हैं, और वह टाइमर एक जाल है। इसे लंबा रखेंगे तो हर जवाब देरी से आएगा: LiveKit के आकलन के अनुसार, 800-मिलीसेकंड के ठहराव की सीमा "हर एक जवाब में लगभग पूरा एक सेकंड जोड़ देती है।" इसे छोटा रखेंगे तो आप लोगों की बात के बीच में बोल पड़ेंगे। ऐसी कोई सेटिंग नहीं है जो सही बैठ सके, क्योंकि आप जिस चीज़ को माप रहे हैं, वह वो चीज़ है ही नहीं जिसकी आपको असल में परवाह है।

शोध का जवाब, और इसके लिए चुपचाप किस चीज़ की ज़रूरत होती है

बेहतर तरीका यह है कि वही किया जाए जो लोग करते हैं—यानी बारी बदलने का इंतज़ार करने के बजाय उसका पहले से अनुमान लगाया जाए। इस दिशा में सबसे प्रभावशाली काम Voice Activity Projection, या VAP (Ekstedt and Skantze, 2022) रहा है। मौजूदा पल को केवल बोली या चुप्पी के रूप में चिह्नित करने के बजाय, एक VAP मॉडल अगले एक-दो सेकंड में दोनों वक्ताओं की संयुक्त गतिविधि का पूर्वानुमान लगाता है, और उसी पूर्वानुमान से बातचीत में बोलने की बारी बदलने की घटनाओं को समझता है।

यह तरीका काम करता है। लेकिन इसकी एक ऐसी शर्त भी है जो पहली नज़र में जितनी दिखती है, उससे कहीं ज़्यादा अहम है: यह स्टीरियो ऑडियो से सीखता है, जिसमें हर वक्ता के लिए एक अलग चैनल होता है (Inoue et al., 2024)। यह सीखने के लिए कि बोलने की बारी कब खत्म होती है, मॉडल को हज़ारों असली बातचीतों के दोनों पक्षों को देखना पड़ता है, जिन्हें अलग-अलग चैनलों पर रखा गया हो ताकि वह समझ सके कि कौन किसके साथ क्या कर रहा है। इस शर्त को ध्यान में रखिएगा, क्योंकि भारतीय भाषाओं की पूरी कहानी इसी पर टिकी है।

डेटा की दीवार

बातचीत में बोलने की बारी तय करने वाला कोई मॉडल उतना ही अच्छा हो सकता है जितनी अच्छी बातचीत आप उसे दिखा सकते हैं। और भारतीय भाषाओं के बड़े सार्वजनिक स्पीच कॉर्पोरा (डेटा संग्रह) लगभग सभी इस काम के लिए गलत बनावट के हैं। यह उनकी आलोचना नहीं है। उन्हें बड़ी सावधानी से एक अलग काम के लिए बनाया गया था: स्पीच रिकग्नाइज़र और सिंथेसाइज़र को प्रशिक्षित करने के लिए, जिन्हें साफ़, लेबल किए गए और ज़्यादातर एक ही वक्ता के ऑडियो की ज़रूरत होती है।

ज़रा देखिए कि अभी क्या उपलब्ध है। हाल के सबसे गंभीर प्रयासों में से एक, IndicVoices, में ज़्यादातर पढ़कर बोली गई आवाज़ें और एक ही व्यक्ति का एकालाप (मोनोलॉग) है, और इसका केवल लगभग छठा हिस्सा ही बातचीत के रूप में चिह्नित है। बातचीत वाला वह हिस्सा भी इस काम के लिए कम पड़ता है: उसे एक सिंगल 8 kHz टेलीफ़ोन चैनल पर इकट्ठा किया गया था, इसलिए वह कभी भी आपको दोनों वक्ताओं की आवाज़ें उन अलग-अलग, समय से मेल खाते (टाइम-अलाइन्ड) ट्रैक्स के रूप में नहीं देता जिनसे बोलने की बारी तय करने वाले मॉडल को सीखना होता है। खुद AI4Bharat के अपने टेक्स्ट-टू-स्पीच फ़ॉलो-अप (IndicVoices-R) ने उस 8 kHz क्वालिटी की वजह से बातचीत वाले हिस्से को पूरी तरह छोड़ दिया। IISc और उसके सहयोगियों का एक बहुत बड़ा संग्रह Vaani, सिंगल चैनल पर तस्वीर देखकर बोला गया मोनोलॉग है। Kathbath पढ़कर बोली गई सामग्री है। Shrutilipi प्रसारित समाचार है। इनमें से हर एक अपने आप में एक वास्तविक उपलब्धि है। लेकिन इनमें से कोई भी दो लोगों के बीच की, अलग-अलग चैनलों पर रिकॉर्ड की गई बातचीत नहीं है। बातचीत में बोलने की बारी तय करने वाले मॉडल को जिस एक चीज़ की ज़रूरत है, वही एक चीज़ रिकॉर्ड करने का बीड़ा किसी ने नहीं उठाया।

"लेकिन हिंदी के लिए टर्न डिटेक्टर तो मौजूद हैं"

यह कहना गलत होगा कि किसी ने कुछ भी बनाकर जारी नहीं किया है। दो ओपन मॉडल देखने लायक हैं, क्योंकि वे एक-दूसरे से बिल्कुल विपरीत रास्ते अपनाते हैं। Pipecat का smart-turn ध्वनि-आधारित (अकूस्टिक) है: Whisper पर आधारित एक छोटा क्लासिफ़ायर जो ऑडियो को सुनता है और अनुमान लगाता है कि बोलने की बारी पूरी हुई या नहीं। LiveKit का डिटेक्टर दूसरा रास्ता अपनाता है और शब्दों को पढ़ता है—यह बातचीत के दौरान बन रही ट्रांसक्रिप्ट को एक बहुभाषी लैंग्वेज मॉडल से गुज़ारता है, जो लिखित पाठ के आधार पर पहले से जानता है कि हिंदी का एक पूरा हुआ वाक्य कैसा दिखता है। दोनों ही भारतीय भाषाओं के लिए मज़बूत आँकड़े बताते हैं—हिंदी पर smart-turn 90 से कुछ ऊपर है, और LiveKit उससे भी आगे।

पेच यह है कि इन आँकड़ों को किस कसौटी पर मापा गया है। ये हर मॉडल के अपने अलग रखे गए (हेल्ड-आउट) डेटा से आते हैं, जो काफ़ी हद तक कृत्रिम (सिंथेटिक) उदाहरणों और साफ़, ज़्यादातर गैर-टेलीफ़ोनी ऑडियो पर निर्भर करता है। क्या वे किसी असली भारतीय फ़ोन कॉल पर टिक पाते हैं, यह एक अलग सवाल है, और इस पर संदेह करने के सार्वजनिक कारण मौजूद हैं। Smart-turn का ऑडियो फ्रंट-एंड 16 kHz के हिसाब से बंधा हुआ है, और फ़ोन लाइन से असल में मिलने वाला 8 kHz ऑडियो इसमें डालने पर इसका इनपुट चुपचाप खराब हो जाता है—यह एक ऐसी खामी है जो सार्वजनिक रूप से दर्ज है और जिसे आसानी से दोहराकर देखा जा सकता है। ट्रांसक्रिप्ट पढ़ने वाला तरीका लिखित हिंदी से लैंग्वेज मॉडल द्वारा सीखे गए व्याकरण के ज्ञान को उधार लेकर, ऑडियो की कमी वाली समस्या से बड़ी चतुराई से बच निकलता है। लेकिन गौर कीजिए कि यह जुगाड़ क्या स्वीकार करता है: आज भारतीय भाषाओं के लिए भरोसेमंद कदम यही है कि भारतीय बातचीत के ऑडियो से बोलने की बारी तय करना सीखने से बचा जाए, क्योंकि सीखने के लिए वह पर्याप्त मात्रा में है ही नहीं। और जहाँ तक हम खोज पाए हैं, आज भी किसी भी भारतीय भाषा पर हेल्ड-आउट मूल्यांकन वाला कोई पीयर-रिव्यूड टर्न-टेकिंग मॉडल मौजूद नहीं है।

कहानी में मोड़

इस शोध के भीतर एक वाकई आईना दिखाने वाला नतीजा छिपा है। जब शोधकर्ताओं ने अलग-अलग भाषाओं में बोली को हिस्सों में बाँटने और लेबल करने के तरीके को एक समान (मानकीकृत) किया, तो पता चला कि बातचीत में बोलने की बारी तय करने वाले मॉडल की सटीकता खुद भाषा से ज़्यादा डेटासेट और उसकी लेबलिंग के नियमों पर निर्भर करती है (Sato, Chiba and Higashinaka, 2024)। इसे एक दूसरे निष्कर्ष के साथ रखकर देखिए कि एक अकेला बहुभाषी मॉडल भाषा-विशेष मॉडलों की बराबरी कर सकता है और यहाँ तक कि यह भी पहचान सकता है कि वह कौन-सी भाषा सुन रहा है (Inoue et al., 2024)—तो सबक यह नहीं है कि हिंदी में बोलने की बारी तय करना कोई अनोखी समस्या है जिसके लिए किसी खास आर्किटेक्चर की ज़रूरत है। सबक यह है कि यह क्षेत्र लगातार अपने डेटा और अपने लेबलों की कमियों को भाषा की कठिनाई समझ लेने की भूल कर रहा है।

यह बात दोनों तरफ़ लागू होती है। भारतीय भाषाओं को संभालने के लिए शायद आपको कोई नया मॉडल ईजाद करने की ज़रूरत नहीं है। लेकिन आपको बातचीत के डेटा और लेबलों की ज़रूरत ज़रूर है, और उन्हें इकट्ठा करना ही वह धीमा और महँगा काम है जिसे बड़े पैमाने पर किसी ने नहीं किया है।

एक वॉइस एजेंट जो आपकी बात काटता है, या टाइमर चलने के दौरान आपको जवाब के इंतज़ार में लटकाए रखता है, वह नासमझ नहीं लगता। वह बदतमीज़ लगता है। और आपकी बात के बीच में बोल पड़ने वाले दोस्त के विपरीत, उसे संदेह का कोई लाभ नहीं मिलता। दुनिया के ज़्यादातर लोग असल में जिन भाषाओं में बात करते हैं, उनके लिए इसका समाधान किसी बड़े मॉडल या चुप्पी मापने की किसी ज़्यादा चतुर सीमा से नहीं निकलेगा। इसका समाधान उन बातचीतों को रिकॉर्ड करने से निकलेगा जिन्हें पिछले दशक के स्पीच डेटासेट्स ने छोड़ दिया: कॉल के दोनों पक्ष, अलग-अलग चैनलों पर रखे गए, उन भाषाओं और आधी-एक व आधी-दूसरी भाषा के उन मिश्रणों में जिनका लोग असल में इस्तेमाल करते हैं। वह डेटा संग्रह (कॉर्पस) अभी अस्तित्व में नहीं है। उसे बनाना चकाचौंध से दूर का काम है, और यही वह काम है जो मायने रखता है।

संदर्भ और आगे पढ़ने के लिए

• T. Stivers et al., "Universals and cultural variation in turn-taking in conversation," PNAS, 2009.
• A. Gravano and J. Hirschberg, "Turn-yielding cues in task-oriented dialogue," SIGDIAL, 2009.
• M. Shannon et al., "Improved end-of-query detection for streaming speech recognition," Interspeech, 2017.
• E. Ekstedt and G. Skantze, "Voice Activity Projection: Self-supervised Learning of Turn-taking Events," Interspeech, 2022.
• K. Inoue et al., "Multilingual Turn-taking Prediction Using Voice Activity Projection," LREC-COLING, 2024.
• T. Sato, Y. Chiba and R. Higashinaka, "Investigating the Language Independence of Voice Activity Projection Models through Standardization of Speech Segmentation Labels," APSIPA ASC, 2024.
• G. Skantze, "Turn-taking in conversational systems and human-robot interaction: a review," Computer Speech and Language, 2021.
• T. Javed et al., "IndicVoices: Towards building an inclusive multilingual speech dataset for Indian languages," ACL Findings, 2024.
• Pipecat / Daily, "Announcing smart-turn v3," 2025.
• LiveKit, "Turn detection for voice agents," 2024.