शोध-अक्ष
शोध कार्यक्रम
यह पृष्ठ प्रभाग की सक्रिय परियोजना, सत्यापनीय प्राकृतिक भाषा जनन, के फ़ोल्डर का हिस्सा है। उसका कार्यक्रम चार अक्षों में टिका है: हर अक्ष एक खुला प्रश्न रखता है और ऐसे गुणधर्म लक्षित करता है जिन्हें अध्ययनाधीन प्रणाली को बाहर से सत्यापनीय बनाना है। औपचारिक परिणाम प्रकाशन की तैयारी में हैं: यह पृष्ठ कार्यक्रम कहता है, उसके प्रमाण नहीं।
की मापें – पुनर्जनन योग्य।
A1. सत्यापनीय जनन
इस अक्ष का खुला प्रश्न सीधा है: क्या इसकी प्रत्याभूति दी जा सकती है, और केवल संभावना नहीं, कि तैयार दस्तावेज़ ऐसा कुछ न कहे जो उसके निवेश तथ्य नहीं कहते? सारा भार जिस शब्द पर टिका है, वह है “प्रत्याभूति”। प्रत्याभूति सफलता की बारंबारता से नहीं मापी जाती: वह सिद्ध होती है, या फिर होती ही नहीं।
हाल का साहित्य इस दाँव को स्पष्ट करता है। वह स्थापित करता है कि अंशांकित प्रसंभाव्य जनित्र दुर्लभ तथ्यों पर मतिभ्रम की अनुपस्थिति की प्रत्याभूति नहीं दे सकते[1][2][3], भले ही कुछ ढाँचों में मतिभ्रम को सांख्यिकीय रूप से नगण्य बनाया जा सके[4]। कार्यक्रम इन कामों के विरुद्ध नहीं खड़ा होता: वह उस विकल्प की दूसरी शाखा को खँगालता है जिसे ये काम खींचते हैं।
इस दूसरी शाखा की एक परंपरा है: तथाकथित data-to-text जनन[5][6], जो संरचित आँकड़ों से पाठ बनाता है, ऐसी प्रक्रियाओं से जो उत्पादन में लंबे समय तक ठीक इसीलिए पसंद की जाती रहीं कि वे निर्गत पर नियंत्रण देती हैं। इस क्षेत्र के संदर्भ-अभियान, जैसे WebNLG[7], निवेश आँकड़ों के प्रति निष्ठा को मानवीय निर्णय और मापकों से आँकते हैं, यानी बारंबारता में; यह अक्ष जो अगला क़दम पढ़ता है, वह इस निष्ठा को हर तैयार दस्तावेज़ पर यंत्रवत सत्यापित एक गुणधर्म बना देना है, नकारात्मक नियंत्रणों के सहारे।
यह दूसरी शाखा उन प्रणालियों की है जो एक सीमांकित तथ्य-क्षेत्र पर, रचना के स्तर पर ही तथ्यों का संरक्षण प्रत्याभूत करती हैं, यंत्रवत सत्यापन के साथ। यहाँ तीन गुणधर्म एक साथ लक्षित हैं। पहले, निर्धारणात्मकता: समान निवेश पर बाइट दर बाइट समान निर्गत, दो निष्पादन वही पाठ लौटाते हैं। फिर, जनन के समय भाषा मॉडल और नेटवर्क पहुँच की अनुपस्थिति: दस्तावेज़ पहले से बनाए और स्थिर किए गए संरचित तथ्यों से, पूरी तरह निर्धारणात्मक प्रक्रिया द्वारा बनते हैं। अंत में, तथ्यों का संरक्षण: हर दस्तावेज़ को उन तथ्यों के समुच्चय के विरुद्ध यंत्र द्वारा दोबारा सत्यापित किया जाता है जिसने उसे बनाया, और यह सत्यापन विफल होना जानता है, जिसे नकारात्मक नियंत्रण स्थापित करते हैं।
अक्ष इस चुनाव की क़ीमत स्वीकार करता है। तथ्य-क्षेत्र सीमांकित है, तैयार पाठ छोटे और रूखे हैं, और निवेश तथ्यों की परिधि से बाहर की कोई बात कही नहीं जा सकती। प्रायः सही होना प्रत्याभूति नहीं है: दोनों व्यवस्थाओं के बीच का अंतर प्रकृति का है, मात्रा का नहीं।
लक्षित गुणधर्म P1-P3
निर्धारणात्मकता, जनन के समय मॉडल की अनुपस्थिति, तथ्यों का संरक्षण
समान निवेश पर प्रणाली बाइट दर बाइट समान निर्गत लौटाती है, जनन के समय बिना किसी भाषा मॉडल और बिना नेटवर्क पहुँच के; फिर हर तैयार दस्तावेज़ को उन तथ्यों के समुच्चय के विरुद्ध यंत्र द्वारा दोबारा सत्यापित किया जाता है जिसने उसे बनाया।
स्थिति: इस अक्ष द्वारा लक्षित गुणधर्म।
A2. बड़े पैमाने पर भाषाई समता
इस अक्ष का खुला प्रश्न पैमाने का है: तथ्य-संरक्षण की प्रत्याभूति का क्या होता है जब उसे एक साथ 1,000 भाषाओं में टिकना हो, न कि उन चंद भाषाओं में जहाँ सामग्री भरपूर है? अध्ययनाधीन प्रणाली 1,000 भाषाएँ संसाधित करती है, और उन्हें समान रूप से संसाधित करती है: भाषा एक प्रसंस्करण है, कभी कोई पायदान नहीं। इस समता का टिकना गणना से जाँचा जाता है: माप अभियान 1,000 भाषाओं में से प्रत्येक में जनन और सत्यापन दोबारा चलाते हैं, और प्रणाली के हर बदलाव पर वर्तमान अवस्था पर फिर से किए जाते हैं।
समान व्यवहार का अर्थ समान समृद्धि नहीं है, और कार्यक्रम एक को दूसरे के रूप में पेश करने से इनकार करता है। दो गुणधर्म इस ईमानदारी को घेरते हैं। पहला, तथ्यगत तुल्यता: एक ही विषय के भिन्न भाषाओं वाले संस्करणों की जाँच होती है कि वे ठीक वही तथ्य उठाते हैं, जहाँ कम कहना अनुमत है और कुछ और कहना नहीं। दूसरा, ईमानदार लोप: जब कोई भाषा या कोई पत्रक किसी तथ्य को ठीक-ठीक कह पाने की गुंजाइश नहीं देता, तो प्रणाली उस तथ्य पर चुप रह जाती है, उसे अनुमान से नहीं भरती, और लोप गिने जाते हैं और फिर प्रकाशित होते हैं।
इसलिए सीमा चुप रहने के बजाय नाम लेकर बताई जाती है। माप के सर्वेक्षण में ऐतिहासिक व्यक्तियों का क्षेत्र सबसे कम व्याप्त है: 1,000 में से 132 भाषाएँ वहाँ एक दस्तावेज़ बनाती हैं, जबकि उसी सर्वेक्षण का देश-विषय 935 भाषाएँ जुटाता है। यह आँकड़ा बाक़ी सबकी तरह ही प्रकाशित होता है, क्योंकि जो कार्यक्रम केवल अपने सबसे अच्छे क्षेत्र प्रकाशित करे, वह कुछ भी नहीं माप रहा होगा। सर्वेक्षण का ब्योरा परिणाम और मापें पृष्ठ पर है।
लक्षित गुणधर्म P4-P5
भाषाओं के बीच तथ्यगत तुल्यता और ईमानदार लोप
एक ही विषय के भिन्न भाषाओं वाले संस्करणों की जाँच होती है कि वे ठीक वही तथ्य उठाते हैं; जब कोई भाषा या कोई पत्रक किसी तथ्य को ठीक-ठीक कह पाने की गुंजाइश नहीं देता, तो प्रणाली उस तथ्य पर चुप रह जाती है और उसे अनुमान से नहीं भरती।
स्थिति: इस अक्ष द्वारा लक्षित गुणधर्म।
A3. मापी गई पठनीयता और आयु के अनुरूप ढलाव
ऐसी यथार्थ सामग्री जिसे कोई विद्यार्थी पढ़ ही न सके, शिक्षा के काम नहीं आती। इसलिए यह अक्ष रचना जितना ही माप का प्रश्न रखता है: किसी दस्तावेज़ को कम उम्र के पाठक के अनुरूप कैसे ढाला जाए, बिना उस बात को छुए जो वह कहता है? लक्षित गुणधर्म दोहरा है। प्रणाली अपने निर्गत की पठन-कठिनाई मापती है, और तथ्य अपरिवर्तित रखते हुए युवा पाठकों के अनुरूप एक रूपांतर बनाना जानती है।
“तथ्य अपरिवर्तित” यहाँ एक कड़ा प्रतिबंध है, कोई मंशा नहीं। युवा पाठकों वाले संस्करण के अंक मूल संस्करण के ही रहते हैं: वे न गोल किए जाते हैं, न सरल किए जाते हैं, न परिमाण-कोटियों से बदले जाते हैं। जो बदलता है वह वाक्यों की बनावट और शब्दों का चुनाव है, कही गई मात्रा कभी नहीं। इस तरह पठनीयता एक और माप बन जाती है, बाक़ी सबकी तरह उसी सत्यापन-व्यवस्था के अधीन।
प्रेक्षणों में फ़्रांसीसी में बना एक देश-पत्रक संदर्भ उदाहरण का काम करता है: 274 शब्द, और ग्रेड 12 पर मापा गया पठन-स्तर। कार्यक्रम इस स्तर को नियंत्रित और मापने योग्य ढंग से बदलना चाहता है, तथ्य-संरक्षण के सत्यापन को अक्षुण्ण रखते हुए।
लक्षित गुणधर्म P6
मापे गए पठन-स्तर
प्रणाली अपने निर्गत की पठन-कठिनाई मापती है और तथ्य अपरिवर्तित रखते हुए युवा पाठकों के लिए एक रूपांतर बनाना जानती है।
स्थिति: इस अक्ष द्वारा लक्षित गुणधर्म।
A4. परिबद्ध और सत्यापनीय अनुशिक्षण
अंतिम अक्ष प्रश्न को दस्तावेज़ से हटाकर संवाद पर ले जाता है। कोई शैक्षिक सहायक तब उपयोगी है जब वह उत्तर दे; वह तब ख़तरनाक है जब वह हर बात का उत्तर दे। खुला प्रश्न सीमा का है: प्रश्नोत्तर का ऐसा घटक कैसे बनाया जाए जिसकी परिधि ज्ञात हो, कही गई हो और सत्यापनीय हो, बजाय इसके कि विद्यार्थी अपनी ग़लतियों के रास्ते उसका अंदाज़ा लगाता चले?
लक्षित गुणधर्म एक परिबद्ध अनुशिक्षक का है। घटक केवल विषय के पत्रक से उत्तर देता है; अपनी परिधि के बाहर वह कोई प्रशंसनीय उत्तर गढ़ने के बजाय “मुझे अभी नहीं पता” कहता है। यह स्वीकारोक्ति कोई सह ली गई व्याप्ति-कमी नहीं है: यही अपेक्षित व्यवहार है, और जाँचों में उसे इसी रूप में लिया जाता है।
अभ्यासों की जाँच भी उसी व्यवस्था में चलती है। घटक अपने निर्णय के साथ उसका औचित्य भी देता है, ताकि कोई शिक्षक जाँच को केवल झेले नहीं, बल्कि स्वयं परख सके। यहाँ भी जो खोजा जा रहा है वह संवाद की प्रवाहशीलता नहीं, बल्कि यह संभावना है कि कोई तीसरा पक्ष जो कहा गया उसे सत्यापित कर सके।
लक्षित गुणधर्म P7
एक परिबद्ध अनुशिक्षक
प्रश्नोत्तर घटक केवल विषय के पत्रक से उत्तर देता है और अपनी परिधि के बाहर “मुझे अभी नहीं पता” कहता है; अभ्यासों की जाँच अपने निर्णय के साथ उसका औचित्य भी देती है।
स्थिति: इस अक्ष द्वारा लक्षित गुणधर्म।
प्रकाशन
तैयारी में
इन चार अक्षों के औपचारिक परिणाम अपनी सत्यापन-सामग्री के साथ प्रकाशित होंगे। प्रकाशन पृष्ठ उन्हें प्रकाशित होते ही दर्ज करेगा; इस साइट को उद्धृत करने का तरीक़ा वहीं बताया गया है।
संदर्भ
- A. T. Kalai, S. S. Vempala, “Calibrated Language Models Must Hallucinate”, STOC 2024 (arXiv:2311.14648). वापस
- A. T. Kalai, O. Nachum, S. S. Vempala, E. Zhang, “Why Language Models Hallucinate”, 2025. वापस
- Z. Xu, S. Jain, M. Kankanhalli, “Hallucination is Inevitable: An Innate Limitation of Large Language Models”, 2024 (arXiv:2401.11817). वापस
- Suzuki et al., 2025 (arXiv:2502.12187) – कुछ ढाँचों में मतिभ्रम को सांख्यिकीय रूप से नगण्य बनाया जा सकता है। वापस
- E. Reiter, R. Dale, Building Natural Language Generation Systems, Cambridge University Press, 2000. वापस
- A. Gatt, E. Krahmer, “Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation”, Journal of Artificial Intelligence Research 61, 2018. वापस
- C. Gardent, A. Shimorina, S. Narayan, L. Perez-Beltrachini, “The WebNLG Challenge: Generating Text from RDF Data”, INLG 2017. वापस
आगे क्या पढ़ें
- परिणाम और मापें – इस कार्यक्रम के प्रश्नों के दिनांकित उत्तर हैं: 28 अगस्त के प्रेक्षण, आकृतियों और सीमाओं सहित।
- सत्यापन की प्रक्रिया – वह प्रक्रिया जो तय करती है कि कार्यक्रम को क्या कहने का अधिकार है।
- परियोजना का फ़ोल्डर – सक्रिय परियोजना का पत्रक, उसकी संख्याएँ और उसके सारे दरवाज़े।