Semula diterbitkan oleh Vectors of Mind.
Studi leksikal dalam psikologi dan Analisis Semantik Laten dalam ilmu komputer diperkenalkan dengan selisih setengah abad untuk memecahkan masalah yang berbeda, tetapi secara matematis ekuivalen. Ini bukan metafora yang hanya berlaku pada tingkat abstraksi tertentu*;* Lima Besar adalah dimensi dari vektor kata.
Namun, pertama-tama, sedikit latar belakang. Hipotesis Leksikal menyatakan bahwa struktur kepribadian akan tertulis ke dalam bahasa, karena para penutur harus mendeskripsikan atribut paling menonjol dari orang-orang di sekitar mereka. Keindahan gagasan ini adalah bahwa, alih-alih seseorang mengusulkan suatu model kepribadian, bahasa merekam hal-hal yang secara implisit disepakati oleh jutaan orang sebagai sesuatu yang berguna. Tugas ahli psikometri hanyalah mengidentifikasi struktur ini. Hal tersebut biasanya dilakukan dengan mengundang mahasiswa psikologi untuk menilai diri mereka sendiri berdasarkan daftar kata sifat dan melakukan analisis faktor terhadap matriks korelasi. Pada 1933, LL Thurstone memberikan survei berisi 60 kata sifat kepada 1300 orang. Dalam karya seminalnya The Vectors of Mind, ia melaporkan bahwa “lima faktor sudah memadai” untuk menjelaskan data tersebut. Pada dekade-dekade berikutnya, studi-studi semacam itu, kurang lebih, menghasilkan lima komponen utama: Keramahan, Ekstraversi, Kehati-hatian, Neurotisisme, dan Keterbukaan/Intelek. (Untuk pembahasan yang sangat baik mengenai topik ini, lihat Lexical Foundations of the Big Five.)
Analisis Semantik Laten diperkenalkan sebagai teknik temu kembali informasi pada 1988. Kata-kata dapat direpresentasikan sebagai vektor, dan dokumen atau kalimat dapat direpresentasikan sebagai rerata vektor kata-katanya. Jika Anda ingin menelusuri basis data besar (misalnya, Wikipedia), kata kunci untuk setiap halaman hanya dapat membantu sampai batas tertentu. Salah satu cara untuk mengatasi hal ini adalah merepresentasikan baik dokumen (artikel wiki) maupun kueri (istilah pencarian) sebagai rerata vektor kata-katanya. Dokumen yang relevan kini dapat ditemukan dengan hasil kali titik sederhana. (Dalam tulisan ini, saya memperlakukan LSA dan vektor kata sebagai sinonim. Ada cara lain untuk memvektorisasi bahasa dan, lebih khusus lagi, membuat vektor kata, tetapi hal-hal tersebut berada di luar cakupan untuk saat ini.)
Terlepas dari perbedaan penggunaan dan sejarahnya, langkah-langkahnya sama:
- Mengumpulkan matriks hitungan kata x dokumen
- Transformasi nonlinear
- Dekomposisi matriks
- Rotasi (Opsional)
Hasilnya adalah sekumpulan vektor kata yang secara ringkas mendeskripsikan setiap kata. Vektor-vektor ini dapat digunakan untuk berbagai tugas lanjutan, mulai dari analisis sentimen hingga prediksi narsisisme berdasarkan esai mahasiswa. Dalam kasus kata sifat kepribadian, dimensi-dimensi vektor kata dianalisis, diberi nama, dan diperdebatkan selama berpuluh-puluh tahun. Berikut ini adalah pembahasan mengenai perbedaan pada setiap langkah.
Matriks hitungan. LSA biasanya melibatkan sejumlah besar dokumen yang beragam (misalnya, jutaan ulasan produk Amazon). Dokumen-dokumen ini ditransformasikan menjadi matriks kata x dokumen dengan menghitung seberapa sering setiap kata muncul dalam setiap dokumen. Dalam psikologi, dokumen adalah kata-kata yang disetujui subjek untuk mendeskripsikan diri mereka. Hal ini juga berlaku pada skala Likert. Jika seseorang mengatakan bahwa suatu kata mendeskripsikan dirinya dengan nilai 5/7, cukup ulangi kata tersebut lima kali dalam dokumen.
Transformasi nonlinear. Studi leksikal sering melakukan ipsatisasi terhadap data (skor-z sepanjang sumbu subjek), lalu menghitung korelasi Pearson. Thurstone menggunakan korelasi tetrakhorik kuno dalam studinya. Dalam LSA, transformasi yang paling umum adalah TF-IDF, yang diikuti oleh logaritma. Hal ini memastikan bahwa matriks tidak didominasi oleh istilah-istilah umum. Sering kali, transformasi tersebut menghasilkan matriks afinitas kata x kata (misalnya, matriks korelasi). Langkah ini secara praktis sangat penting, tetapi tidak terlalu teoretis. Transformasi yang harus dipilih adalah transformasi yang pada akhirnya memberi Anda hasil yang masuk akal.
Dekomposisi Matriks. Ada banyak metode dekomposisi matriks. Beberapa di antaranya, seperti PCA, memerlukan matriks persegi. Metode lainnya tahan terhadap data yang hilang. Dalam data kepribadian, pilihan metode tidak terlalu berpengaruh; hasilnya sangat mirip. Vektor kata umum memerlukan ~300 dimensi untuk merepresentasikan makna kata, kelas kata, sifat slang, dan banyak hal lain yang memberi tekstur pada bahasa. Karena survei dirancang untuk mempertahankan sebagian besar hal tersebut tetap konstan, hanya diperlukan ~5 dimensi. Thurstone membenarkan pilihannya atas lima dimensi dengan melihat galat rekonstruksi, yang ia laporkan sebagai histogram. Para psikolog berikutnya membenarkan angka 5 berdasarkan galat rekonstruksi (yang diukur menggunakan nilai eigen), serta dengan mempertimbangkan keterinterpretasian dan keterulangan hasil.
Rotasi. Pernahkah Anda mendengar tentang ekstraksi komponen secara berlebihan? Itu bukan kisah yang akan diceritakan para psikolog kepada Anda. Hal ini terjadi ketika seorang peneliti mengekstraksi terlalu banyak Komponen Utama, lalu merotasi varians dari PC awal yang valid ke PC marginal yang muncul kemudian. Inilah yang terjadi pada Lima Besar, percaya atau tidak! Apa yang kini disebut Keramahan dahulu merupakan faktor ‘Sosialisasi’ yang jauh lebih kokoh dan lebih memuaskan secara teoretis, yang disebarkan ke PC 3–5 untuk membentuk Kehati-hatian, Neurotisisme, dan Keterbukaan. Rotasi dapat dibenarkan untuk menghasilkan faktor-faktor yang dapat diinterpretasikan. Namun, jika Anda mendapati diri Anda melakukan rotasi lalu berdebat tentang jumlah faktor yang benar, periksalah kembali diri Anda!
Tiga Besar dari vektor kata
Saya memulai program PhD saya dengan memprediksi sifat-sifat Lima Besar dari status Facebook. Setelah membaca bagaimana sosis kepribadian dibuat, saya menyadari bahwa proyek tersebut menggunakan vektor kata (dari status Facebook) untuk memprediksi pendekatan yang bising terhadap posisi individu dalam ruang Lima Besar, yang pada awalnya didefinisikan oleh vektor kata. Tampaknya lebih menarik untuk langsung menuju pokok persoalan dan mempelajari sesuatu yang fundamental tentang kepribadian dari vektor kata. (Selain itu, dataset yang saya gunakan menjadi toksik setelah Cambridge Analytica.) Sisa masa PhD saya dihabiskan untuk membatasi vektor kata agar dapat mereproduksi Lima Besar. Hal ini melibatkan penggunaan transformer, bukan LSA (akan dibahas lebih lanjut dalam tulisan-tulisan mendatang). Korelasi yang dihasilkan antara faktor-faktor dari vektor kata (DeBERTa) dan survei ditampilkan di bawah. Seperti yang dapat Anda lihat, terdapat kesesuaian yang sangat dekat untuk tiga faktor pertama. Ketika hasilnya berbeda, tidak jelas metode mana yang keliru. Mungkin surveilah yang benar, dan semua korelasi akan meningkat menjadi 1 ketika kita memperoleh GPT-5. Mungkin survei hanya bias dan bising, dan terlalu banyak PC yang diekstraksi. Mungkin keduanya mengukur hal yang berbeda, dan kita perlu menyempurnakan interpretasi kita terhadap keduanya. Bagaimanapun, bagi saya tidaklah jelas bahwa survei harus dianggap sebagai standar emas di antara keduanya. Bagaimanapun juga, Hipotesis Leksikal berkaitan dengan struktur bahasa, dan psikologi adalah satu-satunya bidang yang menggunakan survei untuk menganalisis bahasa alami.
Kesimpulan
Thurstone memelopori metode-metode dalam statistik dan aljabar linear untuk menyelidiki Hipotesis Leksikal pada era 1930-an. Sungguh mengagumkan bahwa ia mengembangkan cara untuk merepresentasikan kata-kata yang kemudian ditemukan kembali untuk temu kembali informasi, yang kini menggerakkan era informasi. Komputasi memaksa Thurstone meratakan bentang bahasa yang kaya menjadi respons survei. Dalam 30 tahun terakhir, NLP telah mengalami berbagai revolusi. Jika Thurstone menciptakan teleskop untuk mengamati struktur bahasa, kini kita memiliki Hubble. Banyak wawasan menanti!