نخستین بار منتشرشده توسط بردارهای ذهن.
مطالعات واژگانی در روانشناسی و تحلیل معنایی نهفته در علوم رایانه با فاصلهای نیمقرنی برای حل مسائل متفاوت معرفی شدند، اما از نظر ریاضی معادل یکدیگرند. این صرفاً استعارهای نیست که در سطح خاصی از انتزاع کار کند*;* پنج عامل بزرگ، ابعادِ بردارهای واژه.
اما ابتدا کمی پیشزمینه. فرضیه واژگانی ادعا میکند که ساختار شخصیت در زبان ثبت میشود، زیرا گویشوران ناچارند برجستهترین ویژگیهای اطرافیان خود را توصیف کنند. زیبایی این ایده در آن است که بهجای پیشنهاد یک مدل شخصیت از سوی یک فرد، زبان آنچه را میلیونها نفر بهطور ضمنی بر سر سودمندیاش توافق دارند ثبت میکند. کار روانسنج صرفاً شناسایی این ساختار است. این کار معمولاً با دعوت از دانشجویان روانشناسی برای ارزیابی خود بر اساس فهرستهایی از صفتها و انجام تحلیل عاملی روی ماتریس همبستگی صورت گرفته است. در سال ۱۹۳۳، ال. ال. ترستون پرسشنامهای شامل ۶۰ صفت را روی ۱۳۰۰ نفر اجرا کرد. او در اثر بنیادین خود بردارهای ذهن، گزارش میکند که «پنج عامل کافی است» تا دادهها توضیح داده شوند. در دهههای بعد، چنین مطالعاتی کموبیش به پنج مؤلفه اصلی انجامیدند: توافقپذیری، برونگرایی، وظیفهشناسی، روانرنجوری و گشودگی/هوش. (برای بررسی عالی این موضوع، بنگرید به مبانی واژگانی پنج عامل بزرگ.)
تحلیل معنایی نهفته در سال ۱۹۸۸ معرفی شد بهعنوان یک روش بازیابی اطلاعات. واژهها را میتوان بهصورت بردار نمایش داد و اسناد یا جملهها را میتوان با میانگین بردارهای واژههایشان نمایش داد. اگر بخواهید در یک پایگاه داده بزرگ جستوجو کنید (مثلاً، ویکیپدیا)، کلیدواژههای هر صفحه تنها تا حدی به کارتان میآیند. یکی از راههای دور زدن این محدودیت، نمایش اسناد (مقالههای ویکی) و پرسوجوها (عبارتهای جستوجو) بهصورت میانگین بردارهای واژههایشان است. اکنون یافتن اسناد مرتبط را میتوان با یک ضرب داخلی ساده انجام داد. (در این نوشته، LSA و بردارهای واژه را مترادف در نظر میگیرم. روشهای دیگری نیز برای برداریسازی زبان و، بهطور خاصتر، ساخت بردارهای واژه وجود دارد، اما فعلاً خارج از حیطه بحث هستند.)
با وجود کاربردها و تاریخچه متفاوتشان، مراحل یکساناند:
- یک ماتریس شمارش واژه x سند گردآوری کنید
- تبدیل غیرخطی
- تجزیه ماتریس
- چرخش (اختیاری)
نتیجه، مجموعهای از بردارهای واژه است که هر واژه را بهاختصار توصیف میکنند. از این بردارها میتوان برای انبوهی از وظایف پاییندستی، از تحلیل احساسات گرفته تا پیشبینی خودشیفتگی بر اساس مقالههای دانشجویان، استفاده کرد. در مورد صفتهای شخصیتی، ابعاد بردارهای واژه دههها تحلیل شدند، نامگذاری شدند و مورد بحث قرار گرفتند. آنچه در ادامه میآید، بحثی درباره تفاوتهای هر مرحله است.
ماتریس شمارش. LSA معمولاً شامل شمار زیادی سند متنوع است (مثلاً میلیونها نقد محصول آمازون) به ماتریس واژه x سند تبدیل میشوند؛ به این صورت که تعداد دفعات ظاهر شدن هر واژه در هر سند شمرده میشود. در روانشناسی، یک سند شامل واژههایی است که آزمودنی موافق است او را توصیف میکنند. این رویکرد مقیاسهای لیکرت را نیز در بر میگیرد. اگر کسی بگوید واژهای در مقیاس ۷درجهای با امتیاز ۵ او را توصیف میکند، کافی است آن واژه را پنج بار در سند تکرار کنید.
تبدیل غیرخطی. مطالعات واژگانی اغلب دادهها را ایپساتیزه میکنند (نمره z در امتداد محور آزمودنیها) و سپس همبستگی پیرسون را محاسبه میکنند. ترستون در مطالعه خود از یک همبستگی تتراکوریک منسوخ استفاده کرد. در LSA، رایجترین تبدیل TF-IDF است که پس از آن لگاریتم اعمال میشود. این کار تضمین میکند که اصطلاحات رایج بر ماتریس غالب نشوند. تبدیل اغلب به یک ماتریس مجاورت واژه x واژه منجر میشود (مثلاً ماتریس همبستگی). این مرحله از نظر عملی بسیار مهم است، اما چندان نظری نیست. تبدیلی را باید انتخاب کنید که در نهایت نتیجهای معقول به شما بدهد.
تجزیه ماتریس. روشهای بسیاری برای تجزیه ماتریس وجود دارند. برخی، مانند PCA، به ماتریس مربعی نیاز دارند. برخی دیگر در برابر دادههای مفقود مقاوماند. در مورد دادههای شخصیت، انتخاب روش چندان اهمیتی ندارد؛ نتایج بسیار مشابهاند. بردارهای واژه عمومی به ~۳۰۰ بُعد نیاز دارند تا معنای یک واژه، نقش دستوری، عامیانهبودن و بسیاری چیزهای دیگری را که به زبان بافت میبخشند نمایش دهند. از آنجا که پرسشنامهها بهگونهای طراحی میشوند که بخش زیادی از این موارد را ثابت نگه دارند، تنها ~۵ بُعد لازم است. ترستون انتخاب پنج بُعد را با بررسی خطای بازسازی توجیه کرد که آن را بهصورت یک هیستوگرام گزارش میکند. روانشناسان بعدی عدد ۵ را با خطای بازسازی توجیه کردند (که با مقادیر ویژه اندازهگیری میشد)، و همچنین تفسیرپذیری و بازتولیدپذیری را در نظر گرفتند.
چرخش. آیا تا به حال دربارهٔ استخراج بیشازحد مؤلفهها شنیدهاید؟ این داستانی نیست که روانشناسان برایتان تعریف کنند. این زمانی رخ میدهد که پژوهشگری تعداد بیشازحدی مؤلفهٔ اصلی استخراج میکند و سپس واریانس را از مؤلفههای اصلیِ اولیه و معتبر به مؤلفههای اصلیِ حاشیهایِ بعدی میچرخاند. باور کنید یا نه، این همان اتفاقی است که برای پنج عامل بزرگ افتاد! آنچه اکنون توافقپذیری نامیده میشود، زمانی عامل «جامعهپذیری» بسیار نیرومندتر و از نظر نظری رضایتبخشتری بود که میان مؤلفههای اصلی 3-5 پخش شد تا وظیفهشناسی، روانرنجوری و گشودگی ساخته شوند. چرخش میتواند برای تولید عاملهای تفسیرپذیر موجه باشد. اما اگر زمانی دیدید که دارید چرخش انجام میدهید و سپس دربارهٔ تعداد درست عاملها بحث میکنید، درنگ کنید و کارتان را بازبینی کنید!
سه عامل بزرگ از بردارهای واژه
دورهٔ دکتریام را با پیشبینی صفات پنج عامل بزرگ از روی وضعیتهای فیسبوک آغاز کردم. پس از خواندن دربارهٔ اینکه این سوسیس شخصیت چگونه ساخته شده بود، متوجه شدم که پروژه از بردارهای واژه (مربوط به وضعیتهای فیسبوک) برای پیشبینی تقریبهای پرنویز از جایگاه افراد در فضای پنج عامل بزرگ استفاده میکرد؛ فضایی که خود در اصل با بردارهای واژه تعریف شده بود. به نظرم جالبتر آمد که یکراست سر اصل مطلب بروم و از بردارهای واژه چیزی بنیادی دربارهٔ شخصیت بیاموزم. (همچنین، مجموعهدادهای که استفاده میکردم پس از ماجرای کمبریج آنالیتیکا مسئلهدار شد.) باقی دورهٔ دکتریام صرف تلاش برای مقید کردن بردارهای واژه بهمنظور بازتولید پنج عامل بزرگ شد. این کار مستلزم استفاده از ترنسفورمرها بهجای LSA بود (در نوشتههای آینده بیشتر به آن میپردازم). همبستگی حاصل میان عاملهای بهدستآمده از بردارهای واژه (DeBERTa) و پیمایشها در زیر آمده است. همانطور که میبینید، برای سه عامل نخست توافق بسیار نزدیکی وجود دارد. در مواردی که نتایج واگرا میشوند، روشن نیست کدام روش خطا دارد. شاید پیمایشها درست باشند و وقتی به GPT-5 برسیم همهٔ همبستگیها به 1 میل کنند. شاید پیمایشها صرفاً سوگیرانه و پرنویز باشند و تعداد بیشازحدی مؤلفهٔ اصلی استخراج شده باشد. شاید این دو چیزهای متفاوتی را اندازه میگیرند و لازم باشد تفسیرمان از هر دو را اصلاح کنیم. در هر صورت، برای من بدیهی نیست که از میان این دو، پیمایشها باید معیار طلایی در نظر گرفته شوند. بههرحال، فرضیهٔ واژگانی دربارهٔ ساختار زبان است و روانشناسی تنها حوزهای است که برای تحلیل زبان طبیعی از پیمایش استفاده میکند.
نتیجهگیری
ترستون در دههٔ 30 میلادی پیشگام روشهایی در آمار و جبر خطی برای بررسی فرضیهٔ واژگانی بود. شگفتانگیز است که او روشی برای بازنمایی واژهها ابداع کرد که بعدها برای بازیابی اطلاعات دوباره کشف شد و اکنون نیروبخش عصر اطلاعات است. محدودیتهای محاسباتی، ترستون را واداشتند چشمانداز غنی زبان را به پاسخهای پیمایشی مسطح کند. در 30 سال گذشته، پردازش زبان طبیعی چندین انقلاب را تجربه کرده است. اگر ترستون تلسکوپی برای مشاهدهٔ ساختار زبان اختراع کرد، اکنون هابل را در اختیار داریم. بینشهای بسیاری در انتظارند!