빅 파이브는 단어 벡터이다

원래 Vectors of Mind에 게재되었습니다.

심리학의 어휘 연구와 컴퓨터과학의 잠재 의미 분석(Latent Semantic Analysis)은 서로 다른 문제를 해결하기 위해 반세기의 간격을 두고 도입되었지만, 수학적으로는 동등하다. 이는 특정한 추상화 수준에서만 성립하는 비유가*;* 아니다. 빅 파이브는 단어 벡터의 차원이다.

그러나 먼저 배경을 살펴보자. 어휘 가설은 주변 사람들의 가장 두드러진 속성을 기술해야 하기 때문에, 성격 구조가 언어에 기록될 것이라고 주장한다. 이 발상의 아름다움은 한 사람이 성격 모형을 제안하는 대신, 수백만 명의 사람들이 유용하다고 암묵적으로 동의하는 내용을 언어가 기록한다는 데 있다. 심리측정학자의 역할은 단순히 이 구조를 식별하는 것이다. 이는 전형적으로 심리학과 학생들에게 형용사 목록에 대해 자신을 평정하게 한 다음, 상관행렬에 요인분석을 실시하는 방식으로 수행되어 왔다. 1933년, LL Thurstone은 1,300명에게 60개의 형용사를 제시하는 설문을 실시했다. 그의 기념비적인 저서 The Vectors of Mind에서 그는 자료를 설명하는 데 “다섯 요인이 충분하다”고 보고한다. 이후 수십 년 동안 이러한 연구들은 대체로 다섯 개의 주성분, 즉 친화성(Agreeableness), 외향성(Extroversion), 성실성(Conscientiousness), 신경증성(Neuroticism), 개방성/지성(Openness/Intellect)으로 귀결되었다. (이 주제에 대한 훌륭한 논의는 Lexical Foundations of the Big Five를 참조하라.)

잠재 의미 분석은 1988년에 정보 검색 기법으로 도입되었다. 단어는 벡터로 나타낼 수 있고, 문서나 문장은 단어 벡터의 평균으로 나타낼 수 있다. 대규모 데이터베이스(예: 위키백과)를 검색하려 할 때 각 페이지의 키워드만으로는 충분하지 않다. 이를 우회하는 한 가지 방법은 문서(위키 문서)와 질의(검색어)를 모두 단어 벡터의 평균으로 나타내는 것이다. 이제 간단한 내적을 통해 관련 문서를 찾을 수 있다. (이 글에서는 LSA와 단어 벡터를 동의어로 취급한다. 언어를 벡터화하고, 더 구체적으로 단어 벡터를 만드는 다른 방법들도 있지만, 지금은 그 방법들을 다루지 않는다.)

서로 다른 용도와 역사를 지니고 있음에도 단계는 동일하다.

단어 × 문서 출현 횟수 행렬 수집
비선형 변환
행렬 분해
회전(선택 사항)

그 결과 각 단어를 간결하게 기술하는 단어 벡터 집합이 얻어진다. 이는 감성 분석부터 학생 에세이로부터의 나르시시즘 예측에 이르기까지 다양한 후속 과제에 활용될 수 있다. 성격 형용사의 경우, 단어 벡터의 차원은 수십 년에 걸쳐 분석되고, 명명되고, 논쟁되었다. 다음에서는 각 단계의 차이를 논의한다.

출현 횟수 행렬. LSA는 대개 매우 많고 다양한 문서를 포함한다(예: 수백만 건의 아마존 상품 리뷰). 각 문서에서 각 단어가 얼마나 자주 나타나는지를 세어 이를 단어 × 문서 행렬로 변환한다. 심리학에서 문서란 피험자가 자신을 기술한다고 동의한 단어들이다. 이는 리커트 척도에도 적용된다. 어떤 사람이 한 단어가 자신을 5/7의 정도로 기술한다고 답했다면, 문서 안에서 그 단어를 단순히 다섯 번 반복한다.

비선형 변환. 어휘 연구에서는 자료를 개인 내 표준화(피험자 축을 따라 z 점수화)한 다음 피어슨 상관을 계산하는 경우가 많다. 서스턴은 자신의 연구에서 고식적인 tetrarch 상관을 사용했다. LSA에서는 가장 일반적인 변환이 TF-IDF이며, 그 뒤에 로그 변환을 적용한다. 이를 통해 행렬이 일반적인 용어에 의해 지배되지 않도록 한다. 변환의 결과로 단어 × 단어 친화도 행렬(예: 상관행렬)이 생성되는 경우가 많다. 이 단계는 실제로 매우 중요하지만, 이론적인 성격이 그다지 강한 것은 아니다. 선택해야 할 변환은 최종적으로 합리적인 결과를 내는 변환이다.

행렬 분해. 행렬 분해에는 여러 방법이 있다. PCA와 같이 정방행렬을 요구하는 방법도 있다. 결측 자료에 강건한 방법도 있다. 성격 자료에서는 어떤 방법을 선택하든 큰 차이가 없다. 결과가 매우 유사하기 때문이다. 일반적인 단어 벡터는 단어의 의미, 품사, 속어성, 그리고 언어에 질감을 부여하는 그 밖의 많은 요소를 나타내기 위해 약 300개의 차원을 필요로 한다. 설문은 그러한 요소들의 대부분을 일정하게 유지하도록 설계되므로, 약 5개의 차원만 필요하다. 서스턴은 재구성 오차를 살펴보아 자신이 다섯 개를 선택한 이유를 정당화했으며, 그 오차를 히스토그램으로 보고했다. 이후의 심리학자들은 재구성 오차(고유값으로 측정됨)를 근거로 5개를 정당화하는 한편, 해석 가능성과 재현 가능성도 고려했다.

단어 상관행렬의 재구성 오차. 계산상의 제약에도 불구하고 그의 표본은 많은 현대 연구보다 한 자릿수 큰 규모이다.

회전. 성분 과다 추출(component over-extraction)에 대해 들어본 적이 있는가? 심리학자들이 여러분에게 들려줄 만한 이야기는 아니다. 이는 연구자가 너무 많은 주성분을 추출한 다음, 앞쪽의 타당한 주성분에서 분산을 뒤쪽의 주변적인 주성분으로 회전시키는 경우를 말한다. 믿기 어렵겠지만, 빅 파이브에서 일어난 일이 바로 이것이다! 오늘날 친화성이라고 부르는 요인은 한때 훨씬 더 강건하고 이론적으로 만족스러운 ‘사회화’ 요인이었지만, 성실성·신경증성·개방성을 만들어 내기 위해 주성분 3~5에 걸쳐 분산되었다. 해석 가능한 요인을 산출하기 위해 회전을 정당화할 수는 있다. 그러나 회전을 수행한 뒤 올바른 요인 수를 두고 논쟁하고 있는 자신을 발견한다면, 잠시 멈추어 자신을 점검하라!

단어 벡터에서 도출한 Big Three

나는 페이스북 상태 메시지로부터 빅 파이브 특성을 예측하는 연구로 박사학위를 시작했다. 성격이라는 소시지가 어떻게 만들어지는지 읽고 나서, 이 프로젝트가 단어 벡터(페이스북 상태 메시지의 단어 벡터)를 사용해 개인들이 빅 파이브 공간의 어디에 위치하는지를 시끄럽게 근사하여 예측하고 있다는 사실을 깨달았다. 그런데 그 공간 자체가 원래 단어 벡터로 정의된 것이었다. 단어 벡터에서 출발해 성격에 관해 근본적인 무언가를 알아내는 편이, 중간 단계를 건너뛰는 것이어서 더 흥미로워 보였다. (게다가 내가 사용하던 데이터셋은 케임브리지 애널리티카 사건 이후 유해해졌다.) 박사과정의 나머지 기간에는 빅 파이브를 재현하도록 단어 벡터를 제약하는 작업을 했다. 여기에는 LSA 대신 트랜스포머를 사용하는 일이 포함되었다(이 내용은 향후 글에서 더 자세히 다루겠다). 아래는 단어 벡터(DeBERTa)에서 도출한 요인과 설문에서 도출한 요인 사이의 상관이다. 보이듯 처음 세 요인에서는 매우 밀접하게 일치한다. 결과가 서로 갈라지는 지점에서는 어느 방법에 오류가 있는지 분명하지 않다. 설문이 옳아서 GPT-5가 등장하면 모든 상관이 1로 향하게 될 수도 있다. 설문이 단지 편향되고 잡음이 많으며, 너무 많은 주성분이 추출되었을 수도 있다. 어쩌면 서로 다른 것을 측정하고 있는 것일 수도 있으며, 두 해석 모두를 정교화해야 할 수도 있다. 어쨌든 두 방법 중 설문을 골드 스탠더드로 간주해야 한다는 점은 내게 분명하지 않다. 결국 어휘 가설은 언어 구조에 관한 것이고, 자연어를 분석하기 위해 설문을 사용하는 분야는 심리학이 유일하다.

회전되지 않은 설문 주성분은 빅 파이브를 정의한 연구 중 한 연구에서 나온 것이다. DeBERTa 주성분은 단어 벡터에서 추출되었다. 그 과정에 대해서는 여기에서 읽을 수 있다.

결론

서스턴은 30년대에 어휘 가설을 탐구하기 위한 통계학과 선형대수학의 방법을 개척했다. 그가 훗날 정보 검색을 위해 재발견되어 이제 정보화 시대를 작동시키고 있는, 단어를 나타내는 방법을 개발했다는 사실은 놀랍다. 계산상의 제약 때문에 서스턴은 언어의 풍부한 지형을 설문 응답으로 평탄화해야 했다. 지난 30년 동안 자연어처리(NLP)는 여러 차례의 혁명을 경험했다. 서스턴이 언어 구조를 관찰할 망원경을 발명했다면, 우리는 이제 허블을 갖게 된 셈이다. 많은 통찰이 우리를 기다리고 있다!