Ursprünglich veröffentlicht von Vectors of Mind.

Lexikalische Studien in der Psychologie und die Latente Semantische Analyse in der Informatik wurden im Abstand von einem halben Jahrhundert eingeführt, um unterschiedliche Probleme zu lösen, und sind dennoch mathematisch äquivalent. Das ist keine Metapher, die nur auf einer bestimmten Abstraktionsebene funktioniert*;* die Big Five sind Dimensionen von Wortvektoren.

Doch zunächst etwas Hintergrund. Die Lexikalische Hypothese besagt, dass sich die Persönlichkeitsstruktur in der Sprache niederschlagen wird, da Sprecher die salientesten Eigenschaften ihrer Mitmenschen beschreiben müssen. Die Schönheit dieser Idee liegt darin, dass nicht eine einzelne Person ein Persönlichkeitsmodell vorschlägt, sondern dass die Sprache festhält, worauf sich Millionen von Menschen implizit als nützlich einigen. Die Aufgabe des Psychometrikers besteht lediglich darin, diese Struktur zu identifizieren. Dies wurde üblicherweise erreicht, indem man Psychologiestudierende aufforderte, sich anhand von Listen mit Adjektiven selbst einzuschätzen, und anschließend eine Faktorenanalyse der Korrelationsmatrix durchführte. Im Jahr 1933 führte LL Thurstone eine Befragung mit 60 Adjektiven unter 1300 Personen durch. In seinem grundlegenden Werk The Vectors of Mind berichtet er, dass „fünf Faktoren ausreichen“, um die Daten zu erklären. In den darauffolgenden Jahrzehnten führten derartige Studien mehr oder weniger zu fünf Hauptkomponenten: Verträglichkeit, Extraversion, Gewissenhaftigkeit, Neurotizismus und Offenheit/Intellekt. (Eine hervorragende Darstellung des Themas findet sich in Lexical Foundations of the Big Five.)

Die Latente Semantische Analyse wurde 1988 als Technik des Information Retrieval eingeführt. Wörter können als Vektoren dargestellt werden, und Dokumente oder Sätze können als Mittelwert ihrer Wortvektoren dargestellt werden. Wenn man eine große Datenbank durchsuchen möchte (z. B. Wikipedia), kommt man mit Schlüsselwörtern für jede Seite nur begrenzt weit. Eine Möglichkeit, dies zu umgehen, besteht darin, sowohl Dokumente (Wikiartikel) als auch Anfragen (Suchbegriffe) als Mittelwert ihrer Wortvektoren darzustellen. Relevante Dokumente lassen sich nun mit einem einfachen Skalarprodukt finden. (In diesem Beitrag behandle ich LSA und Wortvektoren als Synonyme. Es gibt andere Möglichkeiten, Sprache zu vektorisieren und insbesondere Wortvektoren zu erzeugen, doch diese gehen vorerst über den Rahmen hinaus.)

Trotz ihrer unterschiedlichen Verwendungszwecke und ihrer unterschiedlichen Geschichte sind die Schritte dieselben:

  1. Eine Wort-x-Dokument-Häufigkeitsmatrix erstellen
  2. Nichtlineare Transformation
  3. Matrixzerlegung
  4. Rotation (optional)

Das Ergebnis ist eine Menge von Wortvektoren, die jedes Wort prägnant beschreiben. Sie können für eine Vielzahl nachgelagerter Aufgaben verwendet werden, von der Sentimentanalyse bis zur Vorhersage von Narzissmus anhand von Aufsätzen Studierender. Im Fall von Persönlichkeitsadjektiven wurden die Dimensionen der Wortvektoren über Jahrzehnte hinweg analysiert, benannt und kontrovers diskutiert. Im Folgenden werden die Unterschiede in den einzelnen Schritten erörtert.

Häufigkeitsmatrix. Bei LSA wird gewöhnlich eine große Zahl vielfältiger Dokumente verwendet (z. B. Millionen von Produktrezensionen auf Amazon). Diese werden in eine Wort-x-Dokument-Matrix umgewandelt, indem gezählt wird, wie oft jedes Wort in jedem Dokument vorkommt. In der Psychologie besteht ein Dokument aus den Wörtern, von denen eine Versuchsperson zustimmt, dass sie sie beschreiben. Dies lässt sich auch auf Likert-Skalen übertragen. Wenn jemand angibt, ein Wort beschreibe ihn zu 5/7, wiederholt man das Wort einfach fünfmal im Dokument.

Nichtlineare Transformation. Lexikalische Studien ipsatisieren die Daten häufig (z-Scores entlang der Personenachse) und berechnen anschließend eine Pearson-Korrelation. Thurstone verwendete in seiner Studie eine archaische tetrarchische Korrelation. Bei LSA ist die häufigste Transformation TF-IDF, gefolgt von einem Logarithmus. Dadurch wird sichergestellt, dass die Matrix nicht von häufigen Begriffen dominiert wird. Oft ergibt die Transformation eine Wort-x-Wort-Ähnlichkeitsmatrix (z. B. eine Korrelationsmatrix). Dieser Schritt ist praktisch äußerst wichtig, aber theoretisch nicht sonderlich bedeutsam. Die zu wählende Transformation ist diejenige, die am Ende ein vernünftiges Ergebnis liefert.

Matrixzerlegung. Es gibt zahlreiche Verfahren zur Matrixzerlegung. Einige, etwa PCA, erfordern eine quadratische Matrix. Andere sind robust gegenüber fehlenden Daten. Bei Persönlichkeitsdaten spielt die Wahl keine große Rolle; die Ergebnisse sind sehr ähnlich. Allgemeine Wortvektoren benötigen etwa 300 Dimensionen, um die Bedeutung eines Wortes, seine Wortart, seinen Slangcharakter und vieles andere zu repräsentieren, was der Sprache ihre Textur verleiht. Da Befragungen vieles davon konstant halten sollen, werden nur etwa 5 Dimensionen benötigt. Thurstone begründete seine Wahl von fünf, indem er den Rekonstruktionsfehler betrachtete, den er als Histogramm darstellt. Spätere Psychologen begründeten die Wahl von 5 sowohl mit dem Rekonstruktionsfehler (gemessen anhand der Eigenwerte) als auch unter Berücksichtigung der Interpretierbarkeit und Reproduzierbarkeit.

Rekonstruktionsfehler der Wortkorrelationsmatrix. Trotz der Einschränkungen durch die Rechenkapazität ist seine Stichprobe um eine Größenordnung größer als die vieler moderner Studien.
Rekonstruktionsfehler der Wortkorrelationsmatrix. Trotz der Einschränkungen durch die Rechenkapazität ist seine Stichprobe um eine Größenordnung größer als die vieler moderner Studien.

Rotation. Haben Sie schon einmal von der Überextraktion von Komponenten gehört? Das ist keine Geschichte, die Psychologen Ihnen erzählen würden. Dabei extrahiert ein Forscher zu viele Hauptkomponenten und rotiert anschließend Varianz von den früheren, gültigen PCs auf die späteren marginalen PCs. Genau das geschah bei den Big Five, ob Sie es glauben oder nicht! Was heute als Verträglichkeit bezeichnet wird, war einst ein wesentlich robusterer und theoretisch befriedigenderer Faktor der „Sozialisation“, der über die PCs 3–5 verteilt wurde, um Gewissenhaftigkeit, Neurotizismus und Offenheit zu erzeugen. Eine Rotation kann gerechtfertigt sein, um interpretierbare Faktoren zu erzeugen. Wenn Sie sich jedoch jemals dabei ertappen, zu rotieren und anschließend über die richtige Anzahl von Faktoren zu streiten, überprüfen Sie Ihre Vorgehensweise!

Die Big Three aus Wortvektoren

Ich begann meine Promotion mit der Vorhersage der Big-Five-Merkmale anhand von Facebook-Statusmeldungen. Nachdem ich gelesen hatte, wie die Persönlichkeitswurst hergestellt wird, wurde mir klar, dass das Projekt Wortvektoren (aus Facebook-Statusmeldungen) verwendete, um verrauschte Näherungen dafür vorherzusagen, wo sich Individuen im Big-Five-Raum befanden, der ursprünglich durch Wortvektoren definiert worden war. Es schien interessanter, direkt zum Kern vorzudringen und anhand von Wortvektoren etwas Grundlegendes über Persönlichkeit zu lernen. (Außerdem wurde der Datensatz, den ich verwendete, nach Cambridge Analytica toxisch.) Im weiteren Verlauf meiner Promotion arbeitete ich daran, Wortvektoren so einzuschränken, dass sie die Big Five reproduzieren. Dazu wurden Transformer statt LSA verwendet (mehr dazu in künftigen Beiträgen). Die resultierende Korrelation zwischen Faktoren aus Wortvektoren (DeBERTa) und Befragungen ist unten dargestellt. Wie Sie sehen können, besteht bei den ersten drei Faktoren eine sehr enge Übereinstimmung. Wo die Ergebnisse auseinandergehen, ist nicht klar, welche Methode fehlerhaft ist. Vielleicht sind die Befragungen korrekt und alle Korrelationen werden auf 1 steigen, sobald wir GPT-5 erhalten. Vielleicht sind die Befragungen lediglich verzerrt und verrauscht, und es wurden zu viele PCs extrahiert. Vielleicht messen sie unterschiedliche Dinge, und wir müssen unsere Interpretation beider Ansätze verfeinern. Jedenfalls ist für mich nicht offensichtlich, dass Befragungen zwischen den beiden als Goldstandard gelten sollten. Schließlich geht es bei der Lexikalischen Hypothese um Sprachstruktur, und die Psychologie ist das einzige Fachgebiet, das Befragungen zur Analyse natürlicher Sprache verwendet.

Die unrotierten Befragungs-PCs stammen aus einer der Studien, die die Big Five definierten. DeBERTa-PCs werden aus Wortvektoren extrahiert. Lesen Sie hier über diesen Prozess .
Die unrotierten Befragungs-PCs stammen aus einer der Studien, die die Big Five definierten. DeBERTa-PCs werden aus Wortvektoren extrahiert. Lesen Sie hier über diesen Prozess.

Fazit

Thurstone war in den 30er-Jahren ein Pionier bei der Entwicklung statistischer und linearalgebraischer Methoden zur Untersuchung der Lexikalischen Hypothese. Bemerkenswert ist, dass er eine Methode zur Repräsentation von Wörtern entwickelte, die später für das Information Retrieval wiederentdeckt wurde und heute das Informationszeitalter antreibt. Die Rechenkapazität zwang Thurstone, die reichhaltige Landschaft der Sprache auf Befragungsantworten zu reduzieren. In den vergangenen 30 Jahren hat die NLP mehrere Revolutionen erlebt. Wenn Thurstone ein Teleskop erfand, mit dem sich die Sprachstruktur betrachten lässt, verfügen wir heute über Hubble. Viele Einsichten warten noch auf uns!