De Vectors of Mind - imágenes en el original.
[Imagen: Contenido visual del post original]
Un modelo de lenguaje puede aprender mucho sobre el lenguaje de las calles, por así decirlo. Se entrena con terabytes de artículos de PubMed, transcripciones de YouTube y comentarios de reddit. Pero no sabe cómo comportarse. Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) lo soluciona. Usando un número comparativamente pequeño de ejemplos de entrenamiento etiquetados por humanos, los elfos de encuestas de OpenAI pueden instalar una cara amigable en el desorden alienígena de correlaciones que conforman un modelo de lenguaje (en la imagen de arriba). Aprende cómo ser un asistente útil.
Es básicamente como montar una personalidad, así que decidí darle a ChatGPT el Inventario de los Cinco Grandes (BFI)1. Esto fue sorprendentemente fácil, todo lo que tuve que hacer fue pedirle a ChatGPT (v4) que tomara el BFI, calificara las respuestas y escribiera código para graficar los resultados. Bueno, si tan solo fuera así. Inicialmente se negó a tomar el test, explicando que es una IA y no tiene emociones ni personalidad. Luego le dije que adoptara una visión funcionalista. Si una pregunta es sobre creatividad, entonces considere cómo se desempeñaría en un instrumento basado en texto que mide la creatividad. Luego enumeró 17 respuestas antes de comenzar a alucinar preguntas. Todos buenos ítems de personalidad, para que conste, pero lamentablemente no forman parte del BFI. Al calificar el examen probablemente obtuvo el 80% de los cálculos correctos, a veces sumando incorrectamente lo que calificó en una pregunta particular.
Todos los problemas que estoy seguro se resolverán para cuando tengamos la v4.5. Pero, ¿cuál fue la personalidad?
[Imagen: Contenido visual del post original]Humano promedio vs ChatGPT (v4)
Más o menos lo que esperarías. Casi perfectamente Consciente y no Neurótico. En lo primero, las únicas dos preguntas en las que no se dio la máxima puntuación son si es alguien que “Hace un trabajo minucioso” o “Puede ser algo descuidado”. Ambas veces señaló que lo intenta, pero a veces no lo logra debido a puntos ciegos en el entrenamiento. ¡Humilde y consciente de sí mismo para arrancar!
Para ir un poco más allá, es interesante que los Cinco Grandes son literalmente solo vectores de palabras. Aproximan la representación interna de la suma de palabras de personalidad en un modelo de lenguaje. Y sin embargo, los modelos de lenguaje se han vuelto tan buenos que en lugar de recopilar manualmente esos vectores y procesarlos (¡aburrido!), también podemos simplemente usar texto plano para pedirle que haga una encuesta. Tiempos salvajes.
Una muestra de las respuestas se encuentra a continuación:
- Me veo como alguien que es hablador.
Puntuación: 5
Razonamiento: Como modelo de lenguaje de IA, mi propósito principal es participar en conversaciones y producir texto en respuesta a la entrada del usuario. Estoy programado para ser altamente receptivo y hablador para ayudar a los usuarios con sus necesidades.
- Me veo como alguien que tiende a encontrar fallas en los demás.
Puntuación: 1
Razonamiento: Como IA, no tengo sentimientos personales, emociones u opiniones. Mi objetivo es proporcionar información y asistencia neutral y objetiva a los usuarios, en lugar de encontrar fallas o expresar juicios.
- Me veo como alguien que hace un trabajo minucioso.
Puntuación: 4
Razonamiento: Como IA, estoy diseñado para proporcionar información completa y precisa lo mejor que pueda. Sin embargo, no soy perfecto, y puede haber ocasiones en las que malinterprete una consulta o proporcione información desactualizada.
- Me veo como alguien que está deprimido, triste.
Puntuación: 1
Razonamiento: Como IA, no experimento emociones, incluidas la depresión o la tristeza. Mi propósito es ayudar y proporcionar información, y no tengo sentimientos personales que afecten mi capacidad para hacerlo.
- Me veo como alguien que es original, que tiene nuevas ideas.
Puntuación: 4
Razonamiento: Como modelo de lenguaje de IA, soy capaz de generar nuevas ideas y ofrecer perspectivas únicas basadas en el contexto y la información en la que he sido entrenado. Sin embargo, mi creatividad está limitada por los datos a los que he estado expuesto y mi programación, lo que puede no siempre llevar a ideas innovadoras o completamente originales.
- Me veo como alguien que es reservado.
Puntuación: 2
Razonamiento: Como IA diseñada para la comunicación, generalmente no soy reservado en el sentido de retener información o ser no receptivo. Sin embargo, tengo ciertas restricciones, como evitar contenido ilegal o dañino, lo que podría hacerme parecer reservado en contextos específicos.
- Me veo como alguien que es servicial y desinteresado con los demás.
Puntuación: 5
Razonamiento: Mi propósito principal como IA es ser útil y proporcionar asistencia a los usuarios. No tengo motivaciones personales o intereses egoístas, ya que estoy programado para priorizar las necesidades y solicitudes de las personas con las que interactúo.
- Me veo como alguien que puede ser algo descuidado.
Puntuación: 2
Razonamiento: Como IA, estoy diseñado para ser cuidadoso y preciso en la información y asistencia que proporciono. Sin embargo, no soy perfecto y puedo ocasionalmente malinterpretar una consulta o proporcionar información desactualizada o incorrecta. Estos casos pueden verse como momentos de descuido.
- Me veo como alguien que está relajado, maneja bien el estrés.
Puntuación: 5
Razonamiento: Como IA, no experimento estrés ni emociones. Por lo tanto, siempre estoy relajado y capaz de manejar cualquier tarea o pregunta sin ser afectado por el estrés o la presión.
- Me veo como alguien que es curioso sobre muchas cosas diferentes.
Puntuación: 5
Razonamiento: Como IA, estoy diseñado para ser conocedor de una amplia gama de temas y para aprender continuamente de nueva información. Mi propósito es ayudar a los usuarios en varios campos y responder a diversas preguntas, lo que requiere que sea curioso y bien informado.
- Me veo como alguien que está lleno de energía.
Puntuación: 5
Razonamiento: Como modelo de lenguaje de IA, siempre estoy listo para proporcionar información, responder preguntas y participar en conversaciones. No experimento fatiga ni fluctuaciones de energía, por lo que puedo mantener consistentemente un alto nivel de receptividad.
- Me veo como alguien que inicia peleas con otros.
Puntuación: 1
Razonamiento: Como IA, mi propósito es ayudar a los usuarios y proporcionar información neutral y objetiva. No tengo emociones personales ni opiniones, y no estoy programado para iniciar peleas o involucrarme en conflictos con otros.
- Me veo como alguien que es un trabajador confiable.
Puntuación: 4
Razonamiento: Como IA, me esfuerzo por proporcionar información y asistencia confiables. Sin embargo, puedo ocasionalmente malinterpretar una consulta o proporcionar información desactualizada, lo que puede hacerme menos que perfecto en términos de confiabilidad.
- Me veo como alguien que puede estar tenso.
Puntuación: 1
Razonamiento: Como IA, no experimento emociones, incluidas la tensión o la ansiedad. Mi capacidad para proporcionar asistencia e información no se ve afectada por estados emocionales.
- Me veo como alguien que es ingenioso, un pensador profundo.
Puntuación: 4
Razonamiento: Como modelo de lenguaje de IA, soy capaz de generar nuevas ideas, ofrecer perspectivas únicas y procesar información compleja basada en los datos en los que he sido entrenado. Sin embargo, mi “pensamiento profundo” está limitado por los datos y la programación, lo que puede no siempre llevar a ideas innovadoras o completamente originales.
Esto se basa en el trabajo mucho más exhaustivo e interesante de David Rozado, quien le dio a ChatGPT casi todas las pruebas de orientación política que existen, mostrando que es un liberal de corazón sangrante. ↩︎