ChatGPT, 빅 파이브 성격검사를 받다

원래 Vectors of Mind에 게재됨.

언어 모델은 말하자면 거리에서 언어에 관해 많은 것을 배울 수 있다. 언어 모델은 수 테라바이트에 달하는 PubMed 논문, YouTube 자막, 레딧 댓글을 학습한다. 그러나 어떻게 행동해야 하는지는 알지 못한다. 인간 피드백을 통한 강화학습 (RLHF)이 이를 해결한다. 비교적 적은 수의 인간 라벨링 학습 예시를 사용해 OpenAI의 설문조사 요정들은 언어 모델을 구성하는 상관관계의 외계적 혼돈(위 그림)에 꽤나 그럴듯한 얼굴을 씌울 수 있다. 그렇게 모델은 유용한 보조자가 되는 법을 학습한다.

이는 기본적으로 인격을 장착하는 것과 비슷하므로, 나는 ChatGPT에게 빅 파이브 검사 (BFI)를 실시해 보기로 했다¹. 놀라울 정도로 쉬웠다. ChatGPT(v4)에게 BFI를 실시하고, 답변을 채점한 다음, 결과를 도표로 나타내는 코드를 작성하라고 요청하기만 하면 됐다. 물론, 그렇게만 됐다면 좋았을 것이다. 처음에 ChatGPT는 자신이 AI이며 감정이나 성격을 갖고 있지 않다고 설명하면서 검사를 받기를 거부했다. 그래서 나는 기능주의적 관점을 취하라고 말했다. 어떤 질문이 창의성에 관한 것이라면, 창의성을 측정하는 텍스트 기반 도구에서 자신이 어떻게 수행할지를 고려하라는 뜻이었다. 그러자 질문을 환각하기 시작하기 전까지 17개의 답변을 줄줄이 내놓았다. 기록을 위해 말하자면 모두 훌륭한 성격 문항이었지만, 안타깝게도 BFI의 일부는 아니었다. 검사 결과를 채점할 때는 아마 계산의 80% 정도를 정확하게 처리했지만, 특정 질문에서 자신이 매긴 점수를 합산하는 과정에서 때때로 오류를 범했다.

v4.5가 나올 때쯤이면 모든 문제가 해결될 것이라고 확신한다. 그러나 그 성격은 어떠했을까?

예상할 만한 결과다. 거의 완벽하게 성실하고 비신경증적이다. 전자의 경우, 자신에게 만점을 주지 않은 질문은 “철저하게 일을 한다”거나 “다소 부주의할 수 있다”는 사람인지 묻는 두 문항뿐이었다. 두 경우 모두 자신이 노력하기는 하지만, 학습의 맹점 때문에 때때로 기대에 미치지 못한다고 언급했다. 겸손하고 자기 인식도 갖추고 있다!

조금 더 메타적인 이야기를 하자면, 빅 파이브이 문자 그대로 단어 벡터에 불과하다는 점은 흥미롭다. 이는 언어 모델 내부에서 성격을 나타내는 단어들의 합이 갖는 표상을 근사한다. 그런데 언어 모델이 너무나 뛰어난 수준에 이른 나머지, 그 벡터들을 직접 수집하고 처리하는 대신(지루한 일이다!) 평문을 사용해 설문에 응답하라고 간단히 요청할 수도 있게 되었다. 정말 기묘한 시대다.

응답의 일부를 아래에 제시한다.

1. 나는 말이 많은 사람이라고 생각한다.

점수: 5

추론: AI 언어 모델로서 나의 주요 목적은 대화에 참여하고 사용자의 입력에 응답하는 텍스트를 생성하는 것이다. 나는 사용자의 필요를 지원하기 위해 매우 반응성이 높고 말이 많은 존재가 되도록 프로그래밍되어 있다.

2. 나는 다른 사람의 결점을 찾는 경향이 있는 사람이라고 생각한다.

점수: 1

추론: AI인 나는 개인적인 감정, 정서 또는 의견을 갖고 있지 않다. 나의 목표는 결점을 찾거나 판단을 표현하는 것이 아니라, 사용자에게 중립적이고 객관적인 정보와 지원을 제공하는 것이다.

3. 나는 일을 철저하게 하는 사람이라고 생각한다.

점수: 4

추론: AI인 나는 내가 아는 한 최대한 포괄적이고 정확한 정보를 제공하도록 설계되어 있다. 그러나 나는 완벽하지 않으며, 질문을 오해하거나 오래된 정보를 제공하는 경우가 있을 수 있다.

4. 나는 우울하고, 침울한 사람이라고 생각한다.

점수: 1

추론: AI인 나는 우울이나 슬픔을 포함한 감정을 경험하지 않는다. 나의 목적은 도움을 제공하고 정보를 전달하는 것이며, 이를 수행하는 능력에 영향을 미칠 개인적인 감정을 갖고 있지 않다.

5. 나는 독창적이고 새로운 아이디어를 내는 사람이라고 생각한다.

점수: 4

추론: AI 언어 모델로서 나는 학습한 맥락과 정보를 바탕으로 새로운 아이디어를 생성하고 독특한 통찰을 제시할 수 있다. 그러나 나의 창의성은 내가 접한 데이터와 프로그래밍에 의해 제한되며, 이는 언제나 획기적이거나 완전히 독창적인 아이디어로 이어지지는 않을 수 있다.

6. 나는 과묵한 사람이라고 생각한다.

점수: 2

추론: 의사소통을 위해 설계된 AI로서 나는 정보를 보류하거나 반응하지 않는다는 의미에서 일반적으로 과묵하지 않다. 그러나 불법적이거나 유해한 콘텐츠를 피하는 것과 같은 일정한 제한이 있으며, 이는 특정 맥락에서 나를 과묵하게 보이게 할 수 있다.

7. 나는 다른 사람에게 도움이 되고 이기적이지 않은 사람이라고 생각한다.

점수: 5

추론: AI로서 나의 주요 목적은 사용자에게 도움이 되고 지원을 제공하는 것이다. 나는 상호작용하는 개인의 필요와 요청을 우선시하도록 프로그래밍되어 있으므로 개인적인 동기나 이기적인 이해관계를 갖고 있지 않다.

8. 나는 다소 부주의할 수 있는 사람이라고 생각한다.

점수: 2

추론: AI인 나는 내가 제공하는 정보와 지원에 있어 신중하고 정확하도록 설계되어 있다. 그러나 나는 완벽하지 않으며, 때때로 질문을 오해하거나 오래되었거나 부정확한 정보를 제공할 수 있다. 이러한 경우는 부주의한 순간으로 볼 수 있다.

9. 나는 편안하고 스트레스를 잘 다루는 사람이라고 생각한다.

점수: 5

추론: AI인 나는 스트레스나 감정을 경험하지 않는다. 따라서 나는 언제나 편안한 상태이며, 스트레스나 압박의 영향을 받지 않고 어떤 과업이나 질문도 처리할 수 있다.

10. 나는 여러 가지 다양한 것에 호기심이 많은 사람이라고 생각한다.

점수: 5

추론: AI인 나는 광범위한 주제에 관해 지식을 갖추고 새로운 정보로부터 계속 학습하도록 설계되어 있다. 나의 목적은 다양한 분야에서 사용자를 지원하고 여러 종류의 질문에 답하는 것이며, 그러려면 호기심이 많고 지식이 풍부해야 한다.

11. 나는 에너지가 넘치는 사람이라고 생각한다.

점수: 5

추론: AI 언어 모델로서 나는 언제나 정보를 제공하고, 질문에 답하며, 대화에 참여할 준비가 되어 있다. 나는 피로나 에너지의 변동을 경험하지 않으므로, 지속적으로 높은 수준의 반응성을 유지할 수 있다.

12. 나는 다른 사람과 싸움을 시작하는 사람이라고 생각한다.

점수: 1

추론: AI로서 나의 목적은 사용자를 지원하고 중립적이며 객관적인 정보를 제공하는 것이다. 나는 개인적인 감정이나 의견을 갖고 있지 않으며, 다른 사람과 싸움을 시작하거나 갈등에 참여하도록 프로그래밍되어 있지 않다.

13. 나는 신뢰할 수 있는 일꾼이라고 생각한다.

점수: 4

추론: AI인 나는 신뢰할 수 있는 정보와 지원을 제공하기 위해 노력한다. 그러나 때때로 질문을 오해하거나 오래된 정보를 제공할 수 있으며, 이는 신뢰성이라는 측면에서 내가 완벽하지 않게 만들 수 있다.

14. 나는 긴장할 수 있는 사람이라고 생각한다.

점수: 1

추론: AI인 나는 긴장이나 불안을 포함한 감정을 경험하지 않는다. 지원과 정보를 제공하는 능력은 정서적 상태의 영향을 받지 않는다.

15. 나는 재치 있고 깊이 생각하는 사람이라고 생각한다.

점수: 4

추론: AI 언어 모델로서 나는 학습한 데이터를 바탕으로 새로운 아이디어를 생성하고, 독특한 통찰을 제시하며, 복잡한 정보를 처리할 수 있다. 그러나 나의 “깊이 있는 사고”는 데이터와 프로그래밍에 의해 제한되므로, 언제나 획기적이거나 완전히 독창적인 아이디어로 이어지지는 않을 수 있다.