Büyük Beşli sözcük vektörleridir

İlk olarak Vectors of Mind tarafından yayımlanmıştır.

Psikolojideki sözcüksel çalışmalar ile bilgisayar bilimindeki Gizil Anlamsal Analiz, farklı sorunları çözmek üzere yarım yüzyıl arayla ortaya konmuş olmalarına rağmen matematiksel olarak eşdeğerdir. Bu, belirli bir soyutlama düzeyinde işe yarayan bir metafor değildir*;* Büyük Beşli, sözcük vektörlerinin boyutlarıdır.

Fakat önce biraz arka plan bilgisi verelim. Sözcüksel Hipotez, kişilik yapısının, konuşurlar çevrelerindeki insanların en belirgin özelliklerini betimlemek zorunda kaldıkça dile yazılacağını öne sürer. Bu fikrin güzelliği, tek bir kişinin bir kişilik modeli önermesi yerine, dilin milyonlarca insanın yararlı olduğunu örtük olarak kabul ettiği şeyi kaydetmesidir. Psikometrisyenin görevi bu yapıyı basitçe saptamaktır. Bu, genellikle psikoloji öğrencilerinden kendilerini sıfat listeleri üzerinden değerlendirmelerinin istenmesi ve korelasyon matrisi üzerinde faktör analizi yapılmasıyla gerçekleştirilmiştir. LL Thurstone, 1933 yılında 1300 kişiye 60 sıfattan oluşan bir anket uyguladı. Öncü çalışması The Vectors of Mind’de, verileri açıklamak için “beş faktörün yeterli olduğunu” bildirir. Sonraki onyıllarda bu tür çalışmalar, aşağı yukarı, beş temel bileşenle sonuçlandı: Uyumluluk, Dışadönüklük, Sorumluluk, Nevrotiklik ve Açıklık/Entelekt. (Konunun mükemmel bir incelemesi için bkz. Lexical Foundations of the Big Five.)

Gizil Anlamsal Analiz, 1988 yılında bir bilgi erişim tekniği olarak tanıtıldı. Sözcükler vektörler olarak, belgeler veya cümleler ise sözcük vektörlerinin ortalaması olarak temsil edilebilir. Büyük bir veritabanında (örn. Wikipedia) arama yapmak istediğinizde, her sayfa için anahtar sözcükler ancak bir yere kadar işinize yarar. Bunun bir yolu, hem belgeleri (wiki maddelerini) hem de sorguları (arama terimlerini) sözcük vektörlerinin ortalaması olarak temsil etmektir. İlgili belgeleri bulmak artık basit bir nokta çarpımıyla gerçekleştirilebilir. (Bu yazıda LSA ile sözcük vektörlerini eş anlamlı olarak ele alıyorum. Dili vektörleştirmenin ve daha özel olarak sözcük vektörleri oluşturmanın başka yolları da vardır, ancak bunlar şimdilik kapsamın dışındadır.)

Farklı kullanımlarına ve tarihlerine rağmen adımlar aynıdır:

1. Sözcük × belge sayım matrisi topla
2. Doğrusal olmayan dönüşüm
3. Matris ayrışımı
4. Döndürme (İsteğe bağlı)

Sonuç, her sözcüğü özlü biçimde betimleyen bir sözcük vektörleri kümesidir. Bunlar duygu analizinden öğrenci denemelerinden narsisizm tahminine kadar çok sayıda sonraki görevde kullanılabilir. Kişilik sıfatları söz konusu olduğunda, sözcük vektörlerinin boyutları onyıllar boyunca analiz edilmiş, adlandırılmış ve tartışılmıştır. Aşağıda her adımdaki farklılıklar ele alınmaktadır.

Sayım matrisi. LSA genellikle çok sayıda ve çeşitlilik gösteren belgeyi içerir (örn. milyonlarca Amazon ürün değerlendirmesi). Bunlar, her sözcüğün her belgede kaç kez göründüğü sayılarak sözcük × belge matrisine dönüştürülür. Psikolojide belge, bir öznenin kendisini betimlediğini kabul ettiği sözcüklerdir. Bu, Likert ölçekleri için de geçerlidir. Bir kişi bir sözcüğün kendisini 5/7 düzeyinde betimlediğini söylüyorsa, sözcüğü belgede beş kez yinelemek yeterlidir.

Doğrusal olmayan dönüşüm. Sözcüksel çalışmalar veriyi sıklıkla ipsatize eder (özne ekseni boyunca z puanına dönüştürür) ve ardından Pearson korelasyonu gerçekleştirir. Thurstone, çalışmasında artık kullanılmayan bir tetrakorik korelasyon kullanmıştır. LSA’de en yaygın dönüşüm, ardından logaritma uygulanan TF-IDF’dir. Bu, matrisin yaygın terimlerin egemenliği altına girmemesini sağlar. Dönüşüm çoğu zaman sözcük × sözcük yakınlık matrisiyle (örn. korelasyon matrisi) sonuçlanır. Bu adım pratik açıdan çok önemlidir, ancak kuramsal açıdan o kadar da önemli değildir. Seçilecek dönüşüm, nihai olarak makul bir sonuç veren dönüşümdür.

Matris ayrışımı. Matris ayrışımının birçok yöntemi vardır. PCA gibi bazıları kare matris gerektirir. Diğerleri eksik verilere karşı dayanıklıdır. Kişilik verileri söz konusu olduğunda seçimin fazla önemi yoktur; sonuçlar birbirine çok benzer. Genel sözcük vektörleri, bir sözcüğün anlamını, sözcük türünü, argo niteliğini ve dile doku kazandıran daha pek çok şeyi temsil etmek için yaklaşık 300 boyut gerektirir. Anketler bunların çoğunu sabit tutacak şekilde tasarlandığından yalnızca yaklaşık 5 boyut gereklidir. Thurstone, beş seçimini, histogram olarak bildirdiği yeniden yapılandırma hatasına bakarak gerekçelendirmiştir. Daha sonraki psikologlar 5 sayısını, yeniden yapılandırma hatasının yanı sıra (özdeğerlerle ölçülerek) yorumlanabilirliği ve yeniden üretilebilirliği de dikkate alarak gerekçelendirmiştir.

Döndürme. Bileşenlerin aşırı çıkarımını hiç duydunuz mu? Psikologların size anlatacağı türden bir hikâye değildir. Bir araştırmacının çok fazla Temel Bileşen çıkarması ve ardından varyansı daha önceki geçerli TB’lerden sonraki marjinal TB’lere döndürmesi durumudur. İnanın ya da inanmayın, Büyük Beşli’de olan tam olarak buydu! Bugün Uyumluluk olarak adlandırılan şey, bir zamanlar çok daha sağlam ve kuramsal açıdan tatmin edici bir “Toplumsallaşma” faktörüydü; bu faktör, Sorumluluk, Nevrotiklik ve Açıklık’ı oluşturmak üzere 3–5. TB’lere dağıtılmıştı. Yorumlanabilir faktörler üretmek için döndürme gerekçelendirilebilir. Ancak kendinizi döndürme yapıp ardından doğru faktör sayısı hakkında tartışırken bulursanız, bir durup kendinizi denetleyin!

Sözcük vektörlerinden Büyük Üçlü

Doktorama Facebook durumlarından Büyük Beşli özelliklerini tahmin ederek başladım. Kişilik sosisinin nasıl yapıldığını öğrendikten sonra, projenin, (Facebook durumlarının) sözcük vektörlerini kullanarak bireylerin Büyük Beşli uzayında nerede bulunduğuna ilişkin gürültülü yaklaşık tahminleri öngördüğünü fark ettim; o uzay da başlangıçta sözcük vektörleriyle tanımlanmıştı. Doğrudan özüne inip sözcük vektörlerinden kişilik hakkında temel bir şeyler öğrenmek daha ilginç görünüyordu. (Ayrıca kullandığım veri kümesi Cambridge Analytica’dan sonra toksik hâle geldi.) Doktoramın geri kalanında, Büyük Beşli’yi yeniden üretmek amacıyla sözcük vektörlerini kısıtlamak için çalıştım. Bu, LSA yerine dönüştürücülerin kullanılmasını içeriyordu (bununla ilgili daha fazlası gelecek yazılarda). Aşağıda, sözcük vektörlerinden (DeBERTa) elde edilen faktörlerle anketlerden elde edilen faktörler arasındaki korelasyon yer alıyor. Gördüğünüz gibi, ilk üç faktör arasında çok yakın bir uyum var. Sonuçların farklılaştığı noktalarda hangi yöntemin hatalı olduğu açık değil. Belki anketler doğrudur ve GPT-5’i elde ettiğimizde tüm korelasyonlar 1’e yaklaşacaktır. Belki anketler yalnızca yanlı ve gürültülüdür ve çok fazla TB çıkarılmıştır. Belki farklı şeyleri ölçüyorlardır ve her ikisine ilişkin yorumumuzu da geliştirmemiz gerekiyordur. Her hâlükârda, bu ikisi arasında anketlerin altın standart kabul edilmesi gerektiği bana açık görünmüyor. Sonuçta Sözcüksel Hipotez dilin yapısıyla ilgilidir ve doğal dili analiz etmek için anketleri kullanan tek alan psikolojidir.

Sonuç

Thurstone, 30’larda Sözcüksel Hipotez’i araştırmak için istatistik ve lineer cebir alanlarında öncü yöntemler geliştirdi. Daha sonra bilgi erişimi için yeniden keşfedilecek ve bugün bilgi çağını güçlendirecek olan sözcükleri temsil etme yöntemini geliştirmiş olması dikkat çekicidir. Hesaplama, Thurstone’u zengin dil manzarasını anket yanıtlarına indirgemeye zorladı. NLP, son 30 yılda birden çok devrim yaşadı. Thurstone, dil yapısını gözlemlemek için bir teleskop icat ettiyse, bugün elimizde Hubble var. Bizi bekleyen pek çok içgörü var!