বিগ ফাইভ হলো শব্দ ভেক্টর

মূলত Vectors of Mind-এ প্রকাশিত।

মনোবিজ্ঞানের অভিধানভিত্তিক গবেষণা এবং কম্পিউটার বিজ্ঞানের ল্যাটেন্ট সেম্যান্টিক অ্যানালিসিস (Latent Semantic Analysis) ভিন্ন সমস্যা সমাধানের উদ্দেশ্যে অর্ধশতাব্দীর ব্যবধানে প্রবর্তিত হলেও গাণিতিকভাবে সমতুল্য। এটি এমন কোনো রূপক নয়, যা কেবল বিমূর্ততার একটি নির্দিষ্ট স্তরে কার্যকর*;* বিগ ফাইভ হলো শব্দ-ভেক্টর-এর মাত্রাসমূহ।

তবে প্রথমে কিছু পটভূমি। অভিধানভিত্তিক অনুমান (Lexical Hypothesis) অনুসারে, ব্যক্তিত্বের কাঠামো ভাষায় লিপিবদ্ধ থাকবে, কারণ বক্তাদের চারপাশের মানুষদের সবচেয়ে তাৎপর্যপূর্ণ বৈশিষ্ট্যগুলো বর্ণনা করতে হয়। এই ধারণার সৌন্দর্য হলো—একজন ব্যক্তি ব্যক্তিত্বের কোনো মডেল প্রস্তাব করার পরিবর্তে, ভাষা লক্ষ লক্ষ মানুষ যে বিষয়গুলোকে পরোক্ষভাবে উপযোগী বলে একমত হয়েছে, তা নথিবদ্ধ করে। মনোমিতিবিদদের কাজ হলো কেবল এই কাঠামো শনাক্ত করা। সাধারণত মনোবিজ্ঞানের শিক্ষার্থীদের বিশেষণসমূহের তালিকা থেকে নিজেদের মূল্যায়ন করতে বলে এবং পারস্পরিক-সম্পর্কের ম্যাট্রিক্সে ফ্যাক্টর অ্যানালিসিস সম্পাদন করে এটি করা হয়েছে। ১৯৩৩ সালে এলএল থার্স্টোন ১৩০০ জনের ওপর ৬০টি বিশেষণের একটি জরিপ পরিচালনা করেন। তাঁর প্রভাবশালী The Vectors of Mind-এ তিনি জানান যে উপাত্ত ব্যাখ্যা করার জন্য “পাঁচটি ফ্যাক্টরই যথেষ্ট”। পরবর্তী দশকগুলোতে এ ধরনের গবেষণার ফল কমবেশি পাঁচটি প্রধান উপাদানে পর্যবসিত হয়: Agreeableness, Extroversion, Conscientiousness, Neuroticism এবং Openness/Intellect। (বিষয়টির চমৎকার আলোচনার জন্য দেখুন Lexical Foundations of the Big Five।)

ল্যাটেন্ট সেম্যান্টিক অ্যানালিসিসকে ১৯৮৮ সালে তথ্য অনুসন্ধানের একটি কৌশল হিসেবে প্রবর্তন করা হয়। শব্দকে ভেক্টর হিসেবে এবং নথি বা বাক্যকে তাদের শব্দ-ভেক্টরগুলোর গড় হিসেবে উপস্থাপন করা যায়। আপনি যদি একটি বৃহৎ ডেটাবেসে (যেমন, উইকিপিডিয়া) অনুসন্ধান করতে চান, প্রতিটি পৃষ্ঠার জন্য কীওয়ার্ড ব্যবহার করে কেবল একটি নির্দিষ্ট সীমা পর্যন্তই অগ্রসর হওয়া যায়। এর একটি সমাধান হলো নথি (উইকি নিবন্ধ) এবং কোয়েরি (অনুসন্ধান-শব্দ)—উভয়কেই তাদের শব্দ-ভেক্টরগুলোর গড় হিসেবে উপস্থাপন করা। এখন একটি সরল ডট প্রোডাক্টের মাধ্যমে প্রাসঙ্গিক নথি খুঁজে বের করা সম্ভব। (এই নিবন্ধে আমি LSA এবং শব্দ-ভেক্টরকে সমার্থক হিসেবে বিবেচনা করছি। ভাষাকে ভেক্টরায়িত করার এবং আরও নির্দিষ্টভাবে শব্দ-ভেক্টর তৈরির অন্যান্য পদ্ধতিও আছে, কিন্তু আপাতত সেগুলো আলোচনার পরিধির বাইরে।)

ভিন্ন ব্যবহার ও ইতিহাস সত্ত্বেও ধাপগুলো একই:

1. একটি শব্দ × নথি গণনা-ম্যাট্রিক্স সংগ্রহ
2. অরৈখিক রূপান্তর
3. ম্যাট্রিক্স বিয়োজন
4. ঘূর্ণন (ঐচ্ছিক)

ফলাফল হলো এমন একগুচ্ছ শব্দ-ভেক্টর, যা প্রতিটি শব্দকে সংক্ষিপ্তভাবে বর্ণনা করে। অনুভূতি বিশ্লেষণ থেকে শুরু করে শিক্ষার্থীদের রচনা থেকে আত্মমুগ্ধতার পূর্বাভাস পর্যন্ত নানা পরবর্তী-ধাপের কাজে এগুলো ব্যবহার করা যায়। ব্যক্তিত্ববাচক বিশেষণের ক্ষেত্রে শব্দ-ভেক্টরগুলোর মাত্রাসমূহ কয়েক দশক ধরে বিশ্লেষণ, নামকরণ ও বিতর্কের বিষয় ছিল। প্রতিটি ধাপের পার্থক্য নিয়ে আলোচনা নিচে দেওয়া হলো।

গণনা-ম্যাট্রিক্স। LSA-তে সাধারণত বিপুলসংখ্যক বৈচিত্র্যময় নথি ব্যবহৃত হয় (যেমন, অ্যামাজনের লক্ষ লক্ষ পণ্যের পর্যালোচনা)। প্রতিটি নথিতে প্রতিটি শব্দ কতবার উপস্থিত হয়েছে তা গণনা করে এগুলোকে শব্দ × নথি ম্যাট্রিক্সে রূপান্তর করা হয়। মনোবিজ্ঞানে একটি নথি হলো এমন শব্দসমষ্টি, যেগুলো কোনো পরীক্ষার্থী নিজের ক্ষেত্রে প্রযোজ্য বলে সম্মত হন। এটি Likert স্কেলের ক্ষেত্রেও প্রযোজ্য। কেউ যদি বলেন যে একটি শব্দ নিজেকে ৫/৭ মাত্রায় বর্ণনা করে, তাহলে নথিতে শব্দটি সরলভাবে পাঁচবার পুনরাবৃত্তি করুন।

অরৈখিক রূপান্তর। অভিধানভিত্তিক গবেষণায় প্রায়ই উপাত্তকে ipsatize করা হয় (পরীক্ষার্থীর অক্ষ বরাবর z score নির্ণয়), এবং এরপর Pearson correlation সম্পাদন করা হয়। থার্স্টোন তাঁর গবেষণায় একটি সেকেলে tetrarch correlation ব্যবহার করেছিলেন। LSA-তে সর্বাধিক প্রচলিত রূপান্তর হলো TF-IDF, যার পরে একটি লগারিদম প্রয়োগ করা হয়। এর ফলে ম্যাট্রিক্সটি সাধারণ পদগুলোর দ্বারা প্রভাবিত হয়ে পড়ে না। প্রায়ই এই রূপান্তরের ফলে একটি শব্দ × শব্দ affinity matrix (যেমন, correlation matrix) তৈরি হয়। এই ধাপটি ব্যবহারিক দিক থেকে অত্যন্ত গুরুত্বপূর্ণ, কিন্তু তাত্ত্বিকভাবে খুব বেশি গুরুত্বপূর্ণ নয়। যে রূপান্তর শেষ পর্যন্ত আপনাকে একটি যুক্তিসঙ্গত ফল দেয়, সেটিই বেছে নেওয়া উচিত।

ম্যাট্রিক্স বিয়োজন। ম্যাট্রিক্স বিয়োজনের অনেক পদ্ধতি আছে। PCA-র মতো কিছু পদ্ধতিতে বর্গাকার ম্যাট্রিক্স প্রয়োজন হয়। অন্যগুলো অনুপস্থিত উপাত্তের ক্ষেত্রেও কার্যকর। ব্যক্তিত্ব-সংক্রান্ত উপাত্তের ক্ষেত্রে পদ্ধতি নির্বাচনের তেমন গুরুত্ব নেই; ফলাফলগুলো খুবই সাদৃশ্যপূর্ণ। সাধারণ শব্দ-ভেক্টরের জন্য একটি শব্দের অর্থ, পদ-প্রকৃতি, slangness এবং ভাষায় পৃষ্ঠতল সৃষ্টি করে এমন আরও অনেক কিছু উপস্থাপনের জন্য প্রায় ৩০০টি মাত্রা প্রয়োজন। জরিপগুলো যেহেতু এসবের অধিকাংশকে ধ্রুব রাখার জন্য নকশা করা হয়, তাই মাত্র প্রায় ৫টি মাত্রাই দরকার। থার্স্টোন পুনর্গঠন-ত্রুটি দেখে তাঁর পাঁচটি মাত্রা বেছে নেওয়ার সিদ্ধান্তের যৌক্তিকতা প্রতিষ্ঠা করেন, যা তিনি একটি হিস্টোগ্রাম হিসেবে প্রতিবেদন করেন। পরবর্তী মনোবিজ্ঞানীরা পুনর্গঠন-ত্রুটির (eigenvalues দিয়ে পরিমাপ করা) ভিত্তিতে ৫টি মাত্রার যৌক্তিকতা প্রতিষ্ঠা করেন, পাশাপাশি ব্যাখ্যাযোগ্যতা ও পুনরুৎপাদনযোগ্যতাও বিবেচনা করেন।

ঘূর্ণন। আপনি কি component over-extraction-এর কথা কখনও শুনেছেন? মনোবিজ্ঞানীরা আপনাকে যে গল্পটি বলবেন, এটি তা নয়। কোনো গবেষক যখন অতিরিক্তসংখ্যক Principal Components নিষ্কাশন করেন এবং পরবর্তী প্রান্তিক PC-গুলোর ওপর আগের বৈধ PC-গুলোর variance ঘুরিয়ে দেন, তখন সেটিই component over-extraction। বিশ্বাস করুন বা না করুন, বিগ ফাইভের ক্ষেত্রে এটাই ঘটেছিল! বর্তমানে Agreeableness নামে পরিচিত ফ্যাক্টরটি একসময় অনেক বেশি দৃঢ় ও তাত্ত্বিকভাবে সন্তোষজনক ‘সামাজিকীকরণ’ ফ্যাক্টর ছিল, যা Conscientiousness, Neuroticism এবং Openness তৈরি করার জন্য PC 3–5-এর মধ্যে ছড়িয়ে দেওয়া হয়েছিল। ব্যাখ্যাযোগ্য ফ্যাক্টর উৎপাদনের জন্য ঘূর্ণনকে ন্যায্যতা দেওয়া যেতে পারে। কিন্তু আপনি যদি কখনও নিজেকে ঘূর্ণন করতে এবং তারপর ফ্যাক্টরের সঠিক সংখ্যা নিয়ে বিতর্ক করতে দেখেন, তাহলে নিজেকে যাচাই করুন!

শব্দ-ভেক্টর থেকে বিগ থ্রি

আমি ফেসবুকের স্ট্যাটাস থেকে বিগ ফাইভ বৈশিষ্ট্যের পূর্বাভাস দেওয়ার বিষয় নিয়ে পিএইচডি শুরু করেছিলাম। ব্যক্তিত্বের সসেজ কীভাবে তৈরি হয় তা পড়ার পর বুঝতে পারলাম, প্রকল্পটি বিগ ফাইভের পরিসরে ব্যক্তির অবস্থানের কোলাহলপূর্ণ আনুমানিক মানের পূর্বাভাস দিতে (ফেসবুকের স্ট্যাটাসের) শব্দ-ভেক্টর ব্যবহার করছে—যে পরিসরটি মূলত শব্দ-ভেক্টর দিয়েই সংজ্ঞায়িত হয়েছিল। শব্দ-ভেক্টর থেকে ব্যক্তিত্ব সম্পর্কে মৌলিক কিছু শেখার জন্য সরাসরি মূল বিষয়ে যাওয়াই বেশি আকর্ষণীয় মনে হলো। (এ ছাড়া, Cambridge Analytica-র পর আমি যে ডেটাসেট ব্যবহার করছিলাম, সেটিও বিষাক্ত হয়ে ওঠে।) আমার পিএইচডির বাকি সময়টি বিগ ফাইভ পুনরুৎপাদন করার উদ্দেশ্যে শব্দ-ভেক্টরকে সীমাবদ্ধ করার কাজে ব্যয় করেছি। এর জন্য LSA-র পরিবর্তে transformers ব্যবহার করতে হয়েছিল (ভবিষ্যৎ পোস্টে এ বিষয়ে আরও আলোচনা থাকবে)। শব্দ-ভেক্টর (DeBERTa) বনাম জরিপ থেকে পাওয়া ফ্যাক্টরগুলোর মধ্যকার ফলিত correlation নিচে দেওয়া হলো। আপনি দেখতে পাচ্ছেন, প্রথম তিনটি ফ্যাক্টরের ক্ষেত্রে বেশ ঘনিষ্ঠ সামঞ্জস্য রয়েছে। ফলাফল যেখানে বিচ্ছিন্ন হয়েছে, সেখানে কোন পদ্ধতিতে ভুল হয়েছে তা স্পষ্ট নয়। হয়তো জরিপই সঠিক, এবং আমরা যখন GPT-5 পাব, তখন সব correlation 1-এ পৌঁছে যাবে। হয়তো জরিপগুলো কেবল পক্ষপাতদুষ্ট ও কোলাহলপূর্ণ, এবং অতিরিক্তসংখ্যক PC নিষ্কাশন করা হয়েছে। হয়তো তারা ভিন্ন বিষয় পরিমাপ করছে, এবং উভয়ের ব্যাখ্যাই আমাদের পরিশোধিত করা দরকার। যেকোনো অবস্থাতেই, এই দুটির মধ্যে জরিপকে gold standard হিসেবে বিবেচনা করা উচিত—এমনটা আমার কাছে স্পষ্ট নয়। শেষ পর্যন্ত, অভিধানভিত্তিক অনুমান ভাষার কাঠামো নিয়ে; আর প্রাকৃতিক ভাষা বিশ্লেষণের জন্য জরিপ ব্যবহার করে এমন একমাত্র ক্ষেত্র হলো মনোবিজ্ঞান।

উপসংহার

থার্স্টোন ত্রিশের দশকে অভিধানভিত্তিক অনুমান অনুসন্ধানের জন্য পরিসংখ্যান ও রৈখিক বীজগণিতের পদ্ধতিগুলোর পথিকৃৎ ছিলেন। তিনি এমন একটি পদ্ধতি উদ্ভাবন করেছিলেন, যার মাধ্যমে শব্দকে উপস্থাপন করা যায় এবং যা পরবর্তীকালে তথ্য অনুসন্ধানের জন্য পুনরাবিষ্কৃত হয়—এটি এখন তথ্যযুগকে শক্তি জোগায়—বিষয়টি সত্যিই বিস্ময়কর। গণনাগত সীমাবদ্ধতা থার্স্টোনকে ভাষার সমৃদ্ধ ভূদৃশ্যকে জরিপের উত্তরে সমতল করতে বাধ্য করেছিল। গত ৩০ বছরে NLP একাধিক বিপ্লবের মধ্য দিয়ে গেছে। থার্স্টোন যদি ভাষার কাঠামো দেখার জন্য একটি দূরবীন আবিষ্কার করে থাকেন, তবে এখন আমাদের হাতে হাবল। বহু অন্তর্দৃষ্টি আমাদের অপেক্ষায়!