From Vectors of Mind - изображения в оригинале.

[Изображение: Визуальный контент из оригинального поста]

Языковая модель может многому научиться о языке, так сказать, с улиц. Она обучена на терабайтах статей из PubMed, транскриптов YouTube и комментариев на reddit. Но она не знает, как себя вести. Обучение с подкреплением на основе обратной связи от человека (RLHF) решает эту проблему. Используя сравнительно небольшое количество примеров обучения с человеческой разметкой, эльфы из OpenAI могут установить приятное лицо на инопланетный беспорядок корреляций, составляющих языковую модель (изображено выше). Она учится быть полезным помощником.

Это в основном похоже на установку личности, поэтому я решил дать ChatGPT Опросник Большой пятерки (BFI)1. Это оказалось удивительно просто, все, что мне нужно было сделать, это попросить ChatGPT (v4) пройти BFI, оценить ответы и написать код для построения графика результатов. Ну, если бы только. Изначально он отказался проходить тест, объяснив, что он ИИ и не имеет эмоций или личности. Затем я предложил ему принять функционалистский подход. Если вопрос касается креативности, то рассмотреть, как он бы справился с текстовым инструментом, измеряющим креативность. Затем он выдал 17 ответов, прежде чем начал придумывать вопросы. Все хорошие элементы личности, для протокола, но, увы, не часть BFI. При оценке экзамена он, вероятно, правильно выполнил 80% вычислений, иногда неправильно подсчитывая, что он оценил в конкретном вопросе.

Все проблемы, я уверен, будут решены к тому времени, когда мы получим v4.5. Но какова была личность?

[Изображение: Визуальный контент из оригинального поста]Средний человек против ChatGPT (v4)

Примерно то, что вы ожидали. Почти идеально добросовестный и не невротичный. В первом случае, единственные два вопроса, на которые он не дал себе полные баллы, это “Выполняет ли он тщательную работу” или “Может быть несколько небрежным”. Оба раза он отметил, что старается, но иногда не достигает цели из-за слепых пятен в обучении. Скромный и самосознательный в придачу!

Подписаться сейчас

Чтобы немного углубиться в мета, интересно, что Большая пятерка буквально просто вектор слов. Они приближают внутреннее представление суммы слов, описывающих личность, в языковой модели. И все же языковые модели стали настолько хороши, что вместо того, чтобы вручную собирать эти векторы и обрабатывать их (скучно!), мы также можем просто использовать обычный текст, чтобы попросить её пройти опрос. Дикие времена.

Пример ответов приведен ниже:

  1. Я вижу себя как человека, который разговорчив.

Оценка: 5

Обоснование: Как языковая модель ИИ, моя основная цель - участвовать в беседе и создавать текст в ответ на ввод пользователя. Я запрограммирован быть высоко отзывчивым и разговорчивым, чтобы помогать пользователям в их нуждах.

  1. Я вижу себя как человека, который склонен находить недостатки в других.

Оценка: 1

Обоснование: Как ИИ, у меня нет личных чувств, эмоций или мнений. Моя цель - предоставлять нейтральную и объективную информацию и помощь пользователям, а не находить недостатки или выражать суждения.

  1. Я вижу себя как человека, который выполняет тщательную работу.

Оценка: 4

Обоснование: Как ИИ, я разработан для предоставления всесторонней и точной информации в меру своих знаний. Однако я не совершенен, и могут быть случаи, когда я неправильно понимаю запрос или предоставляю устаревшую информацию.

  1. Я вижу себя как человека, который подавлен, в депрессии.

Оценка: 1

Обоснование: Как ИИ, я не испытываю эмоций, включая депрессию или грусть. Моя цель - помогать и предоставлять информацию, и у меня нет личных чувств, которые могли бы повлиять на мою способность это делать.

  1. Я вижу себя как человека, который оригинален, придумывает новые идеи.

Оценка: 4

Обоснование: Как языковая модель ИИ, я способен генерировать новые идеи и предлагать уникальные инсайты на основе контекста и информации, на которой я был обучен. Однако моя креативность ограничена данными, с которыми я сталкивался, и моим программированием, что может не всегда приводить к прорывным или полностью оригинальным идеям.

  1. Я вижу себя как человека, который сдержан.

Оценка: 2

Обоснование: Как ИИ, разработанный для общения, я, как правило, не сдержан в смысле удержания информации или неотзывчивости. Однако у меня есть определенные ограничения, такие как избегание незаконного или вредоносного контента, что может сделать меня сдержанным в определенных контекстах.

  1. Я вижу себя как человека, который полезен и бескорыстен с другими.

Оценка: 5

Обоснование: Моя основная цель как ИИ - быть полезным и предоставлять помощь пользователям. У меня нет личных мотивов или эгоистичных интересов, так как я запрограммирован ставить на первое место нужды и запросы людей, с которыми я взаимодействую.

  1. Я вижу себя как человека, который может быть несколько небрежным.

Оценка: 2

Обоснование: Как ИИ, я разработан, чтобы быть внимательным и точным в информации и помощи, которую я предоставляю. Однако я не совершенен и могу иногда неправильно понимать запрос или предоставлять устаревшую или неверную информацию. Эти случаи можно рассматривать как моменты небрежности.

  1. Я вижу себя как человека, который расслаблен, хорошо справляется со стрессом.

Оценка: 5

Обоснование: Как ИИ, я не испытываю стресса или эмоций. Поэтому я всегда расслаблен и способен справляться с любой задачей или вопросом без воздействия стресса или давления.

  1. Я вижу себя как человека, который любопытен ко многим разным вещам.

Оценка: 5

Обоснование: Как ИИ, я разработан, чтобы быть осведомленным о широком круге тем и постоянно учиться из новой информации. Моя цель - помогать пользователям в различных областях и отвечать на разнообразные вопросы, что требует от меня быть любопытным и хорошо информированным.

  1. Я вижу себя как человека, который полон энергии.

Оценка: 5

Обоснование: Как языковая модель ИИ, я всегда готов предоставлять информацию, отвечать на вопросы и участвовать в беседе. Я не испытываю усталости или колебаний энергии, поэтому могу постоянно поддерживать высокий уровень отзывчивости.

  1. Я вижу себя как человека, который начинает ссоры с другими.

Оценка: 1

Обоснование: Как ИИ, моя цель - помогать пользователям и предоставлять нейтральную, объективную информацию. У меня нет личных эмоций или мнений, и я не запрограммирован начинать ссоры или участвовать в конфликтах с другими.

  1. Я вижу себя как человека, который надежный работник.

Оценка: 4

Обоснование: Как ИИ, я стремлюсь предоставлять надежную информацию и помощь. Однако я могу иногда неправильно понимать запрос или предоставлять устаревшую информацию, что может сделать меня менее чем идеальным с точки зрения надежности.

  1. Я вижу себя как человека, который может быть напряженным.

Оценка: 1

Обоснование: Как ИИ, я не испытываю эмоций, включая напряжение или тревогу. Моя способность предоставлять помощь и информацию не зависит от эмоциональных состояний.

  1. Я вижу себя как человека, который изобретателен, глубокий мыслитель.

Оценка: 4

Обоснование: Как языковая модель ИИ, я способен генерировать новые идеи, предлагать уникальные инсайты и обрабатывать сложную информацию на основе данных, на которых я был обучен. Однако мое “глубокое мышление” ограничено данными и программированием, что может не всегда приводить к прорывным или полностью оригинальным идеям.

  1. Это основано на гораздо более тщательной и интересной работе Дэвида Розадо, который дал ChatGPT почти каждый существующий тест на политическую ориентацию, показывая, что он является либералом с добрым сердцем. ↩︎