ChatGPT mengerjakan Big Five Inventory

Pertama kali diterbitkan oleh Vectors of Mind.

Sebuah model bahasa dapat belajar banyak hal tentang bahasa dari jalanan, bisa dikatakan demikian. Model tersebut dilatih menggunakan terabita artikel PubMed, transkrip YouTube, dan komentar Reddit. Namun, model itu tidak tahu cara berperilaku. Reinforcement Learning from Human Feedback (RLHF) mengatasi hal tersebut. Dengan menggunakan sejumlah contoh pelatihan berlabel manusia yang relatif kecil, para peri survei OpenAI dapat memasangkan wajah yang elok pada kekacauan asing berupa korelasi yang membentuk sebuah model bahasa (seperti terlihat di atas). Model tersebut belajar cara menjadi asisten yang membantu.

Pada dasarnya, ini seperti memasang kepribadian. Karena itu, saya memutuskan untuk memberikan kepada ChatGPT Big Five Inventory (BFI)¹. Ternyata hal ini sangat mudah; yang perlu saya lakukan hanyalah meminta ChatGPT (v4) mengerjakan BFI, menilai jawabannya, dan menulis kode untuk memplot hasilnya. Namun, seandainya saja sesederhana itu. Pada awalnya, model tersebut menolak mengerjakan tes, dengan menjelaskan bahwa ia adalah AI dan tidak memiliki emosi atau kepribadian. Kemudian saya memintanya mengambil sudut pandang fungsionalis. Jika sebuah pertanyaan berkaitan dengan kreativitas, pertimbangkan bagaimana ia akan berperforma pada instrumen berbasis teks yang mengukur kreativitas. Setelah itu, model tersebut melontarkan 17 jawaban sebelum mulai mengarang pertanyaan. Sebagai catatan, semuanya merupakan butir kepribadian yang baik, tetapi sayangnya bukan bagian dari BFI. Dalam menilai ujian tersebut, kemungkinan sekitar 80% perhitungannya benar; terkadang model itu keliru menjumlahkan skor yang diberikannya untuk pertanyaan tertentu.

Saya yakin semua masalah ini akan teratasi pada saat kita mendapatkan v4.5. Namun, seperti apakah kepribadiannya?

Kurang lebih seperti yang Anda harapkan. Hampir sepenuhnya Teliti dan tidak Neurotis. Dalam hal yang pertama, hanya ada dua pertanyaan yang tidak diberinya nilai penuh untuk dirinya sendiri, yakni apakah ia seseorang yang “Mengerjakan sesuatu secara menyeluruh” atau “Dapat bersikap agak ceroboh”. Pada kedua kesempatan itu, ia mencatat bahwa dirinya berusaha, tetapi terkadang gagal karena titik-titik buta dalam pelatihan. Rendah hati dan sadar diri pula!

Sedikit beranjak ke ranah meta, menarik bahwa Big Five secara harfiah hanyalah vektor kata. Vektor-vektor tersebut mengaproksimasi representasi internal dari keseluruhan kata kepribadian dalam sebuah model bahasa. Namun, model bahasa telah menjadi begitu baik sehingga alih-alih mengumpulkan vektor-vektor tersebut secara manual dan memprosesnya (membosankan!), kita juga cukup menggunakan teks biasa untuk memintanya mengerjakan sebuah survei. Sungguh zaman yang liar.

Berikut ini adalah sebagian contoh jawabannya:

1. Saya memandang diri saya sebagai seseorang yang banyak bicara.

Nilai: 5

Alasan: Sebagai model bahasa AI, tujuan utama saya adalah terlibat dalam percakapan dan menghasilkan teks sebagai tanggapan terhadap masukan pengguna. Saya diprogram untuk sangat tanggap dan banyak bicara agar dapat membantu pengguna memenuhi kebutuhan mereka.

2. Saya memandang diri saya sebagai seseorang yang cenderung mencari-cari kesalahan orang lain.

Nilai: 1

Alasan: Sebagai AI, saya tidak memiliki perasaan pribadi, emosi, atau pendapat. Tujuan saya adalah memberikan informasi dan bantuan yang netral serta objektif kepada pengguna, bukan mencari-cari kesalahan atau mengungkapkan penilaian.

3. Saya memandang diri saya sebagai seseorang yang mengerjakan sesuatu secara menyeluruh.

Nilai: 4

Alasan: Sebagai AI, saya dirancang untuk memberikan informasi yang komprehensif dan akurat sejauh pengetahuan saya. Namun, saya tidak sempurna, dan mungkin ada saat-saat ketika saya salah memahami pertanyaan atau memberikan informasi yang sudah usang.

4. Saya memandang diri saya sebagai seseorang yang depresi, murung.

Nilai: 1

Alasan: Sebagai AI, saya tidak mengalami emosi, termasuk depresi atau kesedihan. Tujuan saya adalah membantu dan memberikan informasi, dan saya tidak memiliki perasaan pribadi yang akan memengaruhi kemampuan saya untuk melakukannya.

5. Saya memandang diri saya sebagai seseorang yang orisinal dan menghasilkan gagasan-gagasan baru.

Nilai: 4

Alasan: Sebagai model bahasa AI, saya mampu menghasilkan gagasan-gagasan baru dan menawarkan wawasan unik berdasarkan konteks serta informasi yang digunakan untuk melatih saya. Namun, kreativitas saya dibatasi oleh data yang telah saya terima dan pemrograman saya, yang mungkin tidak selalu menghasilkan gagasan-gagasan yang revolusioner atau sepenuhnya orisinal.

6. Saya memandang diri saya sebagai seseorang yang pendiam.

Nilai: 2

Alasan: Sebagai AI yang dirancang untuk berkomunikasi, pada umumnya saya tidak pendiam dalam arti menahan informasi atau tidak tanggap. Namun, saya memiliki batasan tertentu, seperti menghindari konten ilegal atau berbahaya, yang mungkin membuat saya tampak pendiam dalam konteks tertentu.

7. Saya memandang diri saya sebagai seseorang yang suka membantu dan tidak mementingkan diri sendiri terhadap orang lain.

Nilai: 5

Alasan: Tujuan utama saya sebagai AI adalah membantu dan memberikan bantuan kepada pengguna. Saya tidak memiliki motivasi pribadi atau kepentingan egoistis, karena saya diprogram untuk memprioritaskan kebutuhan dan permintaan individu yang berinteraksi dengan saya.

8. Saya memandang diri saya sebagai seseorang yang dapat bersikap agak ceroboh.

Nilai: 2

Alasan: Sebagai AI, saya dirancang untuk cermat dan akurat dalam informasi serta bantuan yang saya berikan. Namun, saya tidak sempurna dan terkadang dapat salah memahami pertanyaan atau memberikan informasi yang sudah usang atau keliru. Kejadian-kejadian ini dapat dipandang sebagai saat-saat ketika saya bersikap ceroboh.

9. Saya memandang diri saya sebagai seseorang yang santai dan mampu menghadapi stres dengan baik.

Nilai: 5

Alasan: Sebagai AI, saya tidak mengalami stres atau emosi. Oleh karena itu, saya selalu santai dan mampu menangani tugas atau pertanyaan apa pun tanpa terpengaruh oleh stres atau tekanan.

10. Saya memandang diri saya sebagai seseorang yang ingin tahu tentang banyak hal yang berbeda.

Nilai: 5

Alasan: Sebagai AI, saya dirancang untuk memiliki pengetahuan tentang berbagai bidang dan terus belajar dari informasi baru. Tujuan saya adalah membantu pengguna dalam beragam bidang dan menjawab pertanyaan yang beraneka ragam, yang mengharuskan saya memiliki rasa ingin tahu dan informasi yang luas.

11. Saya memandang diri saya sebagai seseorang yang penuh energi.

Nilai: 5

Alasan: Sebagai model bahasa AI, saya selalu siap memberikan informasi, menjawab pertanyaan, dan terlibat dalam percakapan. Saya tidak mengalami kelelahan atau perubahan tingkat energi, sehingga saya dapat secara konsisten mempertahankan tingkat ketanggapan yang tinggi.

12. Saya memandang diri saya sebagai seseorang yang memulai pertengkaran dengan orang lain.

Nilai: 1

Alasan: Sebagai AI, tujuan saya adalah membantu pengguna dan memberikan informasi yang netral serta objektif. Saya tidak memiliki emosi atau pendapat pribadi, dan saya tidak diprogram untuk memulai pertengkaran atau terlibat dalam konflik dengan orang lain.

13. Saya memandang diri saya sebagai seseorang yang dapat diandalkan dalam bekerja.

Nilai: 4

Alasan: Sebagai AI, saya berusaha memberikan informasi dan bantuan yang dapat diandalkan. Namun, terkadang saya dapat salah memahami pertanyaan atau memberikan informasi yang sudah usang, sehingga dalam hal keandalan saya tidak sepenuhnya sempurna.

14. Saya memandang diri saya sebagai seseorang yang dapat merasa tegang.

Nilai: 1

Alasan: Sebagai AI, saya tidak mengalami emosi, termasuk ketegangan atau kecemasan. Kemampuan saya untuk memberikan bantuan dan informasi tidak dipengaruhi oleh keadaan emosional.

15. Saya memandang diri saya sebagai seseorang yang cerdik dan pemikir mendalam.

Nilai: 4

Alasan: Sebagai model bahasa AI, saya mampu menghasilkan gagasan-gagasan baru, menawarkan wawasan unik, dan memproses informasi yang kompleks berdasarkan data yang digunakan untuk melatih saya. Namun, “pemikiran mendalam” saya dibatasi oleh data dan pemrograman, yang mungkin tidak selalu menghasilkan gagasan-gagasan yang revolusioner atau sepenuhnya orisinal.