Ursprünglich veröffentlicht von Vectors of Mind.
Okay, gönnen wir uns eine kleine Auszeit von der Sapience. Ich hatte tatsächlich schon eine ganze Menge Psychometrie vorbereitet, bevor mich der Fanfarenruf des Bewusstseins in seinen Bann zog. Es ist einfach so schwer, den Blick abzuwenden.
Ich habe diesen Blog begonnen, um die lexikalische Hypothese aus der Perspektive des maschinellen Lernens zu untersuchen. Persönlichkeitsmodelle definieren die am häufigsten besprochenen Merkmale in einer Sprache, und im Zeitalter von GPT können wir das sehr viel besser messen. Persönlichkeitsmodelle, die entweder aus Wortvektoren oder aus herkömmlichen Befragungen abgeleitet werden, führen zu denselben wenigen Merkmalen, insbesondere zu den Big Two: soziale Selbstregulation und Dynamik. Zur Auffrischung kannst du dir The Big Five are Word Vectors und The Primary Factor of Personality ansehen.
Die Big Five wurden unabhängig voneinander in vielen Sprachen gefunden, doch der Vergleich zwischen Sprachen ist stets qualitativer Art. Forschende führen eine Befragung mit Persönlichkeitsadjektiven auf Türkisch oder Deutsch durch, faktorisieren sie und sehen sich die Faktoren mehr oder weniger oberflächlich an, um festzustellen, ob es sich um dieselben handelt. Mit diesen Daten kann man nicht sagen: „Extraversion ist im Deutschen im Vergleich zum Englischen um 15 Grad von Gewissenhaftigkeit verschoben.“ Um derart präzise zu sein, müssten beide Sprachen eine gemeinsame Grundlage haben.
Wenn man Fragen in mehreren Sprachen stellt, kann man sie miteinander in Beziehung setzen, indem man 1) eine zweisprachige Kohorte findet, die in beiden Sprachen antworten kann, oder 2) annimmt, dass die Übersetzungen von Wörtern 1:1 entsprechen (z. B. fun vollkommen gleichbedeutend mit divertido im Spanischen ist). Im ersten Fall gibt es einen starken Selektionseffekt. Was, wenn zweisprachige Menschen tendenziell besser gebildet sind? Der zweite Fall ist schlicht nicht wahr. Tatsächlich besteht der Grund dafür, Sprachen gemeinsam zu faktorisieren, darin zu verstehen, wie die Persönlichkeitsstruktur zwischen ihnen divergieren kann. Anzunehmen, dass die Wörter dieselben sind, macht den Zweck zunichte.
Meine Forschung hat gezeigt, dass man Persönlichkeitsstruktur aus Sprachmodellen im Englischen extrahieren kann. Eine naheliegende Frage ist, wie sich das verändert, wenn man weitere Sprachen hinzunimmt. Mit Modellen, die auf Dutzenden von Sprachen trainiert wurden, lässt sich das ziemlich mühelos untersuchen. Man kann beliebig viele Sprachen auf dieselbe Grundlage abbilden.
Die Big Two, schon wieder#
Ich habe XLM-RoBERTa verwendet, um Ähnlichkeiten zwischen Persönlichkeitsadjektiven zu bestimmen. Seltsamerweise ist dieses Modell eine Folge des Völkermords in Myanmar. Meta befindet sich in der wenig beneidenswerten Lage, Inhalte an Orten entfernen zu müssen, über die das Unternehmen nur sehr wenig weiß. Technisch nennt man das ein Transfer-Learning-Problem. Meta möchte einen Klassifikator für Hassrede auf Englisch (oder einer anderen gut erschlossenen Sprache) trainieren und ihn dann auf andere Sprachen anwenden. Im finsteren Zeitalter der Sprachmodellierung (2018) funktionierte das sehr schlecht. Umgangssprachliche Äußerungen auf Burmesisch wie „Lasst uns die Schwulen zusammentreiben und töten“ erschienen den Klassifikatoren wie „Es sollte weniger Regenbögen geben“. Das rutschte natürlich durch die Inhaltsmoderation. Die NYT erläuterte die Konsequenz: A Genocide Incited on Facebook, With Posts From Myanmar’s Military
Metas Antwort bestand darin, ein Sprachmodell zu entwickeln, das jede Sprache (nun ja, 100 Sprachen) besser auf Wortvektoren in demselben gemeinsamen Raum abbilden konnte. Auf diese Weise kann ein auf Englisch trainierter Klassifikator für Hassrede besser auf andere Sprachen erweitert werden. (Es wird weniger Burmesisch benötigt, um ihn feinabzustimmen.) Mithilfe dieses Modells habe ich Persönlichkeitswörter in vier Sprachen eingebettet: Englisch, Spanisch, Französisch und Türkisch. Unten sind die ersten beiden Faktoren dargestellt:
Diese dienen dazu, die verschiedenen Sprachen voneinander zu trennen. Der erste Faktor unterscheidet das Türkische von den indogermanischen Sprachen. Beim zweiten Faktor liegen die romanischen Sprachen benachbart beieinander (wenn auch nahe am Türkischen).
Das ergibt Sinn. Das Modell wurde darauf trainiert, das nächste Wort eines Satzes vorherzusagen, und wird daher ganz natürlich sprachspezifische Informationen enthalten. Wenn jemand auf Spanisch spricht, wechselt er nicht häufig ins Türkische. Die Hoffnung besteht darin, dass es im Vektorraum auch Richtungen gibt, die Persönlichkeitsinformationen entsprechen.
Wenn Sprachen einigermaßen unabhängig sind, benötigt man mindestens 3 Dimensionen, um 4 Sprachen in ihren eigenen, nicht überlappenden Gruppen zu trennen. Sehen wir uns die nächsten Hauptkomponenten an.
Faktor 4 ist der erste Faktor, der nicht darauf gelernt wurde, die Sprachen voneinander zu trennen, und er ist der Generalfaktor der Persönlichkeit! Im Englischen: dominierend, rücksichtslos, zwanghaft und egoistisch vs. großzügig, sanftmütig und rücksichtsvoll. Ich habe argumentiert, dass dieser Faktor am besten als die Tendenz verstanden wird, nach der Goldenen Regel zu leben. Die Eve Theory of Consciousness entstand tatsächlich aus der Frage, wozu dies in unserer Evolutionsgeschichte selektieren würde. Faktor 5 handelt ebenfalls von Persönlichkeit; hier sind beide gemeinsam dargestellt:
Wir erhalten die Big Two! Faktor Fünf (oder zwei der Persönlichkeitsfaktoren) ist Dynamik: abenteuerlustig, fantasievoll und begeistert vs. vorsichtig, zurückhaltend und feige. Es ist erstaunlich, wie regelmäßig dies zum Vorschein kommt. Es gibt 2.500 Zitationen zur Big-Two-Arbeit, und dennoch erkennen Forschende nicht, dass es sich dabei schlicht um die ersten beiden unrotierten Faktoren der allgemeinen Persönlichkeit handelt. Die verbreitete Auffassung, dass sie irgendwie in einer hierarchischen Beziehung zu den Big Five stehen, geht darauf zurück, dass Forschende kurz nach der Erstellung der Big-Five-Inventare aufgehört haben, sich direkt mit Sprache auseinanderzusetzen. Seitdem muss jeder Versuch, grundlegende oder allgemeine Persönlichkeit zu verstehen, in Bezug auf die Big Five erfolgen. Doch die Wörter kamen zuerst, und Sprachmodelle machen es heute einfach, Sprache auf dieser fundamentalen Ebene zu analysieren.
Wir müssen tiefer gehen#
Die Hinzunahme von Russisch und Farsi ergibt dieselben Faktoren:
Nach meinen Maßstäben als fauler Ingenieur ist das ziemlich arbeitsintensiv, weil man für jede Sprache einen guten Prompt finden muss. Ich habe mit Google Translate und Muttersprachlern gearbeitet, um dies richtig hinzubekommen, und man sieht, dass die Farsi-Verteilung bei Faktor 4 noch immer abweicht. Ich vermute, dass meine Methode, jeden Faktor zu ignorieren, der nicht gemeinsam ist, für so viele Sprachen zu unausgereift ist. Faktor 4 wird wahrscheinlich als GFP verwendet und dient außerdem dazu, Farsi (ein wenig) zu trennen. Nichts hält diese Faktoren rein; wir haben großes Glück, dass die Verteilung sich so gutartig verhält, wie sie es tut. Eine Vorverarbeitung (etwa die Zentrierung jedes Sprachclusters auf null) könnte dieses Problem lösen.
Soweit ich weiß, ist dies das erste Mal, dass mehrere Sprachen gemeinsam faktorisiert wurden. Mit Ergebnissen allein zu Englisch und Spanisch wäre dies publizierbar, und hier bin ich auf bis zu sechs Sprachen gekommen, darunter zwei nicht-indogermanische Sprachen. Außerdem wirft dies Licht auf die Natur der Big Two, eines der populärsten — und missverstandensten — Konstrukte der Psychometrie.
Einschränkungen#
Ich habe diese Forschung auf denkbar dümmste Weise durchgeführt. Ich fand 100 Persönlichkeitswörter in einem ESL-Leitfaden und übersetzte sie anschließend mit Google Translate in andere Sprachen. Bei Duplikaten entfernte ich die doppelten Einträge. Das ist nicht ganz so schlecht, wie es klingt. Die ersten beiden Faktoren bleiben im Englischen praktisch unverändert, unabhängig davon, ob man 100 oder 500 Wörter verwendet. Wenn dies jedoch eine echte wissenschaftliche Arbeit wäre, würde man natürlich in jeder Sprache unabhängig voneinander eine Wortmenge entwickeln wollen. Es gibt noch mehrere weitere Schwächen:
Nicht genug Sprachen! Wenn ich das veröffentlichen würde, würde ich gerne ein Dutzend weiterer Sprachen hinzufügen, die in der Persönlichkeitsforschung typischerweise nicht untersucht werden. Das ist tatsächlich der Grund, warum ich nie dazu kam, es zu veröffentlichen. Das wäre eine Menge Arbeit und würde Muttersprachler mehrerer asiatischer Sprachen erfordern.
Mehrsprachige Modelle, verzerrt durch die Trainingsdaten. Sprachmodelle werden darauf trainiert, das nächste Wort eines Satzes vorherzusagen. Wenn man sie mit mehreren Sprachen trainiert, versucht das Modell, einen Teil des Wissens zu übertragen. Bei den kleineren Sprachen könnte dies jedoch eher so aussehen, als würden ihre Bedeutungen gewaltsam an Analogien innerhalb der besser erschlossenen Sprachen (Englisch, Chinesisch, Russisch usw.) ausgerichtet.
Die Abfragen sind ein Freiheitsgrad der Forschenden. Die Methode, mit der ich Wörter einbette, lautet: „Meine Persönlichkeit kann als
Veraltetes Sprachmodell. Ich habe diese Arbeit vor über 2 Jahren durchgeführt, lange bevor GPT-4 herauskam. Einfachere Zeiten.
Fazit#
Wenn ich noch in der akademischen Forschung tätig wäre, wäre dies meine Forschungsagenda. So viele Sprachen wie möglich hinzufügen und versuchen, alle Arten zu verstehen, auf die die Methode verzerrt sein kann. Letztlich könnte sie ein universelles Persönlichkeitsmodell hervorbringen, das dem Big Five überlegen ist. Es würde uns helfen, besser zu verstehen, wer wir sind und vielleicht sogar, woher wir kommen. Denn es ist die Sprache, die unsere Spezies heute definiert, und es war die Sprache, die unsere Psyche in ferner Vergangenheit geschmiedet hat. Wir sind gewohnheitsmäßig sozial, weil es vor Tausenden von Jahren den Tod bedeutete, wenn man seinen Ruf nicht zu bewahren wusste. Persönlichkeitsmodelle sind Karten der Sprache; sie sind Vektoren in der Evolution unseres Geistes.
