গবেষণার অক্ষ
গবেষণা কর্মসূচি
এই পাতা বিভাগের সক্রিয় প্রকল্পের নথিভাণ্ডারের অংশ, অর্থাৎ যাচাইযোগ্য প্রাকৃতিক ভাষা উৎপাদনের। তার কর্মসূচি চারটি অক্ষে দাঁড়িয়ে আছে: প্রতিটি অক্ষ একটি খোলা প্রশ্ন রাখে, আর এমন বৈশিষ্ট্যের লক্ষ্য নেয় যেগুলো অধ্যয়নাধীন ব্যবস্থাকে বাইরে থেকে যাচাইযোগ্য করে তুলতে হবে। আনুষ্ঠানিক ফলাফল প্রকাশের প্রস্তুতিতে রয়েছে: এই পাতা কর্মসূচি ঘোষণা করে, তার প্রমাণ নয়।
তারিখের পরিমাপ, পুনরুৎপাদনযোগ্য।
A1. যাচাইযোগ্য উৎপাদন
এই অক্ষের খোলা প্রশ্নটি সহজেই বলা যায়: উৎপন্ন কোনো নথি তার প্রদত্ত তথ্য যা বলে না, তার বাইরে কিছুই বলবে না, এটি কি কেবল সম্ভাব্য করে তোলা নয়, নিশ্চিত করা যায়? যে শব্দটি সমস্ত ভার বয়ে নেয় তা হলো “নিশ্চয়তা”। নিশ্চয়তা সাফল্যের হার দিয়ে মাপা যায় না: হয় তা প্রমাণিত হয়, নয়তো তার অস্তিত্ব নেই।
সাম্প্রতিক গবেষণা-সাহিত্য প্রশ্নটির গুরুত্ব স্পষ্ট করে। তা প্রতিষ্ঠা করে যে ক্রমাঙ্কিত সম্ভাব্যতাভিত্তিক উৎপাদক বিরল তথ্যের ক্ষেত্রে মনগড়া বিবৃতির অনুপস্থিতির নিশ্চয়তা দিতে পারে না[1][2][3], যদিও কোনো কোনো কাঠামোয় মনগড়া বিবৃতি পরিসংখ্যানগতভাবে নগণ্য করে তোলা সম্ভব[4]। কর্মসূচি এই কাজগুলোর বিরোধিতা করে না: সেগুলো যে বিকল্পের রূপরেখা আঁকে, কর্মসূচি তার অন্য শাখাটি অনুসন্ধান করে।
এই অন্য শাখাটির একটি ঐতিহ্য আছে: “data-to-text” নামে পরিচিত উৎপাদন[5][6], যা কাঠামোবদ্ধ উপাত্ত থেকে পাঠ তৈরি করে এমন সব প্রক্রিয়ায়, উৎপাদনক্ষেত্রে যেগুলো দীর্ঘকাল ধরে পছন্দ করা হয়েছে ঠিক এই কারণেই যে সেগুলো নির্গমনের ওপর নিয়ন্ত্রণ দেয়। এই ক্ষেত্রের মানদণ্ডমূলক অভিযানগুলো, যেমন WebNLG[7], প্রদত্ত উপাত্তের প্রতি বিশ্বস্ততা মাপে মানুষের বিচারে আর পরিমাপকে, অর্থাৎ কত ঘন ঘন তা মেলে সেই হিসেবে; এই অক্ষ যে ধাপটি অধ্যয়ন করে তা হলো সেই বিশ্বস্ততাকে উৎপন্ন প্রতিটি নথির ওপর যান্ত্রিকভাবে যাচাই করা একটি বৈশিষ্ট্যে পরিণত করা, নেতিবাচক নিয়ন্ত্রণের সমর্থনসহ।
এই অন্য শাখাটি সেইসব ব্যবস্থার, যেগুলো একটি সীমিত তথ্যক্ষেত্রে গঠনগতভাবেই তথ্যের সংরক্ষণ নিশ্চিত করে, সঙ্গে থাকে যান্ত্রিক যাচাই। সেখানে তিনটি বৈশিষ্ট্য একসঙ্গে অভীষ্ট। প্রথমত নির্ধারণবাদিতা: অভিন্ন প্রদত্তে অভিন্ন নির্গমন, বাইট পর্যন্ত মিল, দুটি চালনা একই পাঠ ফিরিয়ে দেয়। দ্বিতীয়ত উৎপাদনের মুহূর্তে ভাষা-মডেল ও নেটওয়ার্ক-সংযোগের অনুপস্থিতি: নথিগুলো আগে থেকে গঠিত ও স্থির করা কাঠামোবদ্ধ তথ্য থেকে সম্পূর্ণ নির্ধারণবাদী প্রক্রিয়ায় উৎপন্ন হয়। তৃতীয়ত তথ্যের সংরক্ষণ: প্রতিটি নথি যে তথ্যসমষ্টি থেকে উৎপন্ন হয়েছে তার বিপরীতে যন্ত্র দিয়ে আবার যাচাই করা হয়, আর এই যাচাই ব্যর্থ হতে জানে, যা নেতিবাচক নিয়ন্ত্রণ প্রতিষ্ঠা করে।
এই বাছাইয়ের বিনিময়মূল্য অক্ষটি মেনে নেয়। তথ্যক্ষেত্র সীমিত, উৎপন্ন পাঠ ছোট ও শুষ্কতর, আর প্রদত্ত তথ্যের পরিধির বাইরের কিছুই বলা যায় না। প্রায়ই সঠিক মানে নিশ্চিত নয়: দুই ধারার মধ্যে পার্থক্য মাত্রার নয়, প্রকৃতির।
অভীষ্ট বৈশিষ্ট্য P1-P3
নির্ধারণবাদিতা, উৎপাদনের মুহূর্তে মডেলের অনুপস্থিতি, তথ্যের সংরক্ষণ
অভিন্ন প্রদত্তে ব্যবস্থাটি বাইট পর্যন্ত অভিন্ন নির্গমন ফিরিয়ে দেয়, উৎপাদনের মুহূর্তে কোনো ভাষা-মডেল বা নেটওয়ার্ক-সংযোগ ছাড়াই; এরপর উৎপন্ন প্রতিটি নথি যে তথ্যসমষ্টি থেকে তা এসেছে তার বিপরীতে যন্ত্র দিয়ে আবার যাচাই করা হয়।
অবস্থা: এই অক্ষের অভীষ্ট বৈশিষ্ট্য।
A2. বড় মাপে ভাষাগত সমতা
এই অক্ষের খোলা প্রশ্ন মাত্রা নিয়ে: তথ্য সংরক্ষণের নিশ্চয়তা যখন একসঙ্গে 1,000 ভাষায় টিকতে হয়, কেবল সেই কয়েকটি ভাষায় নয় যেখানে উপকরণ প্রচুর, তখন তার কী হয়? অধ্যয়নাধীন ব্যবস্থা 1,000 ভাষা প্রক্রিয়া করে, আর সমানভাবেই করে: ভাষা একটি প্রক্রিয়া, কখনও একটি ক্রম নয়। এই সমতা রক্ষা করা হচ্ছে কি না তা গণনার মাধ্যমে যাচাই হয়: পরিমাপ-অভিযান 1,000 ভাষার প্রতিটিতে উৎপাদন ও যাচাই আবার চালায়, আর ব্যবস্থার প্রতিটি বিবর্তনে তা বর্তমান অবস্থার ওপর আবার করা হয়।
সমান আচরণ মানে সমান প্রাচুর্য নয়, আর কর্মসূচি একটিকে অন্যটি বলে চালাতে অস্বীকার করে। এই সততাকে দুটি বৈশিষ্ট্য ঘিরে রাখে। প্রথমত তথ্যগত সমতুল্যতা: একই বিষয়ের ভিন্ন ভিন্ন ভাষার সংস্করণগুলো যাচাই করে দেখা হয় যে সেগুলো ঠিক একই তথ্য বহন করে; কম বলা অনুমোদিত, অন্য কিছু বলা নয়। দ্বিতীয়ত সৎ বর্জন: কোনো ভাষা বা কোনো তথ্যপত্র যখন একটি তথ্য সঠিকভাবে বলতে দেয় না, ব্যবস্থাটি তা আন্দাজ করার বদলে সেই তথ্যের বিষয়ে নীরব থাকে, আর বর্জনগুলো গোনা হয় ও প্রকাশ করা হয়।
সীমা তাই নীরব না থেকে নাম ধরে বলা হয়। পরিমাপের সমীক্ষায় ঐতিহাসিক ব্যক্তিত্বের ক্ষেত্রটির ব্যাপ্তি সবচেয়ে কম: 1,000 ভাষার মধ্যে 132টিতে একটি নথি উৎপন্ন হয়, যেখানে একই সমীক্ষার দেশ-বিষয়টি 935টি ভাষাকে একত্র করে। এই সংখ্যাটি বাকিগুলোর মতোই প্রকাশ করা হয়, কারণ যে কর্মসূচি কেবল নিজের সবচেয়ে ভালো ক্ষেত্রগুলোই প্রকাশ করবে সে আর কিছুই মাপছে না। সমীক্ষার বিশদ রয়েছে ফলাফল ও পরিমাপ পাতায়।
অভীষ্ট বৈশিষ্ট্য P4-P5
ভাষার মধ্যে তথ্যগত সমতুল্যতা আর সৎ বর্জন
একই বিষয়ের ভিন্ন ভিন্ন ভাষার সংস্করণগুলো যাচাই করে দেখা হয় যে সেগুলো ঠিক একই তথ্য বহন করে; কোনো ভাষা বা কোনো তথ্যপত্র যখন একটি তথ্য সঠিকভাবে বলতে দেয় না, ব্যবস্থাটি তা আন্দাজ করার বদলে সেই তথ্যের বিষয়ে নীরব থাকে।
অবস্থা: এই অক্ষের অভীষ্ট বৈশিষ্ট্য।
A3. মাপা পঠনযোগ্যতা ও বয়স-উপযোগী রূপান্তর
যে নির্ভুল বিষয়বস্তু কোনো শিক্ষার্থী পড়তেই পারে না, তা শিক্ষার কাজে আসে না। তাই এই অক্ষ রচনার মতোই পরিমাপেরও প্রশ্ন তোলে: একটি নথি কীভাবে অল্পবয়সী পাঠকের উপযোগী করা যায়, অথচ সে যা দাবি করে তাতে হাত না দিয়ে? অভীষ্ট বৈশিষ্ট্যটি দ্বিমুখী। ব্যবস্থাটি নিজের নির্গমনের পাঠ-কাঠিন্য মাপে, আর তথ্য অপরিবর্তিত রেখে অল্পবয়সী পাঠকের উপযোগী একটি রূপ তৈরি করতে জানে।
“তথ্য অপরিবর্তিত রেখে” এখানে একটি কঠিন শর্ত, কোনো অভিপ্রায় নয়। অল্পবয়সী পাঠকের সংস্করণের সংখ্যাগুলো মূল সংস্করণেরই থাকে: সেগুলো গোল করা হয় না, সরল করা হয় না, আন্দাজি মাপ দিয়ে বদলে দেওয়া হয় না। যা বদলায় তা বাক্যের গঠন আর শব্দের বাছাই, কখনও বিবৃত মান নয়। এভাবে পঠনযোগ্যতা আরও একটি পরিমাপ হয়ে ওঠে, বাকিগুলোর মতো একই যাচাই-নিয়মের অধীন।
ফরাসিতে উৎপন্ন একটি দেশ-তথ্যপত্র পরিমাপে দৃষ্টান্ত হিসেবে কাজ করে: 274টি শব্দ, পঠন-স্তর মাপা হয়েছে গ্রেড 12। কর্মসূচি এই স্তরকে নিয়ন্ত্রিত ও মাপযোগ্য উপায়ে বদলাতে চায়, তথ্য সংরক্ষণের যাচাই অক্ষত রেখে।
অভীষ্ট বৈশিষ্ট্য P6
মাপা পঠন-স্তর
ব্যবস্থাটি নিজের নির্গমনের পাঠ-কাঠিন্য মাপে আর তথ্য অপরিবর্তিত রেখে অল্পবয়সী পাঠকের উপযোগী একটি রূপ তৈরি করতে জানে।
অবস্থা: এই অক্ষের অভীষ্ট বৈশিষ্ট্য।
A4. সীমাবদ্ধ ও যাচাইযোগ্য শিক্ষণসহায়তা
শেষ অক্ষটি প্রশ্নটিকে নথি থেকে সরিয়ে বিনিময়ের দিকে নেয়। একটি শিক্ষা-সহায়ক তখনই কাজের, যখন সে উত্তর দেয়; আর তখনই বিপজ্জনক, যখন সে সব কিছুরই উত্তর দেয়। খোলা প্রশ্নটি সীমার: প্রশ্নোত্তরের এমন একটি উপাংশ কীভাবে গড়া যায়, যার পরিধি জানা, বলা আর যাচাইযোগ্য, শিক্ষার্থী নিজের ভুলের মধ্য দিয়ে যা আন্দাজ করে নেবে তা নয়?
অভীষ্ট বৈশিষ্ট্যটি একটি সীমাবদ্ধ শিক্ষণসহায়কের। উপাংশটি কেবল বিষয়ের তথ্যপত্র থেকেই উত্তর দেয়; নিজের পরিধির বাইরে সে বিশ্বাসযোগ্য একটি উত্তর বানানোর বদলে বলে “আমি এখনও জানি না”। এই স্বীকারোক্তি সহ্য করে নেওয়া কোনো ঘাটতি নয়: এটাই প্রত্যাশিত আচরণ, আর নিয়ন্ত্রণে সেভাবেই তা গণ্য হয়।
অনুশীলনী মূল্যায়নও একই নিয়মে চলে। উপাংশটি তার যুক্তিসহ একটি রায় ফিরিয়ে দেয়, যাতে একজন শিক্ষক কেবল মূল্যায়নটি মেনে নিতে বাধ্য না হয়ে সেটিকে নিজেই যাচাই করতে পারেন। এখানেও যা খোঁজা হচ্ছে তা বিনিময়ের সাবলীলতা নয়, বরং যা বলা হয়েছে তা তৃতীয় কোনো পক্ষের যাচাই করতে পারার সম্ভাবনা।
অভীষ্ট বৈশিষ্ট্য P7
একটি সীমাবদ্ধ শিক্ষণসহায়ক
প্রশ্নোত্তরের উপাংশটি কেবল বিষয়ের তথ্যপত্র থেকেই উত্তর দেয় আর নিজের পরিধির বাইরে বলে “আমি এখনও জানি না”; অনুশীলনী মূল্যায়ন তার যুক্তিসহ একটি রায় ফিরিয়ে দেয়।
অবস্থা: এই অক্ষের অভীষ্ট বৈশিষ্ট্য।
প্রকাশনা
প্রস্তুতিতে
এই চারটি অক্ষের আনুষ্ঠানিক ফলাফল তাদের যাচাই-উপকরণসহ প্রকাশিত হবে। প্রকাশনা পাতা প্রকাশের সঙ্গে সঙ্গে সেগুলোর তালিকা রাখবে; এই সাইটকে কীভাবে উদ্ধৃত করতে হয় তাও সেখানে বলা আছে।
তথ্যসূত্র
- A. T. Kalai, S. S. Vempala, “Calibrated Language Models Must Hallucinate”, STOC 2024 (arXiv:2311.14648). ফিরুন
- A. T. Kalai, O. Nachum, S. S. Vempala, E. Zhang, “Why Language Models Hallucinate”, 2025. ফিরুন
- Z. Xu, S. Jain, M. Kankanhalli, “Hallucination is Inevitable: An Innate Limitation of Large Language Models”, 2024 (arXiv:2401.11817). ফিরুন
- Suzuki et al., 2025 (arXiv:2502.12187), অর্থাৎ কোনো কোনো কাঠামোয় মনগড়া বিবৃতি পরিসংখ্যানগতভাবে নগণ্য করে তোলা সম্ভব। ফিরুন
- E. Reiter, R. Dale, Building Natural Language Generation Systems, Cambridge University Press, 2000. ফিরুন
- A. Gatt, E. Krahmer, “Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation”, Journal of Artificial Intelligence Research 61, 2018. ফিরুন
- C. Gardent, A. Shimorina, S. Narayan, L. Perez-Beltrachini, “The WebNLG Challenge: Generating Text from RDF Data”, INLG 2017. ফিরুন
এরপর যা পড়বেন
- ফলাফল ও পরিমাপ, অর্থাৎ এই কর্মসূচির প্রশ্নগুলোর তারিখযুক্ত উত্তর: 28 আগস্টের পরিমাপ, চিত্র ও সীমাবদ্ধতাসহ।
- যাচাইকরণের পদ্ধতি, অর্থাৎ যে পদ্ধতি কর্মসূচির দাবির সীমা বেঁধে দেয়।
- প্রকল্পের নথিভাণ্ডার, অর্থাৎ সক্রিয় প্রকল্পের নথি, সংখ্যা আর সমস্ত দরজা।