El debate del día del juicio final

Publicado originalmente por Vectors of Mind.

Uno de los temas con la peor relación entre señal y ruido es la posibilidad de una catástrofe causada por la IA. Requiere razonar bajo incertidumbre sobre la inteligencia, el álgebra lineal, la política, la conciencia y la moralidad, y la mayor parte de ello ocurre en Twitter/X. Nadie conoce las respuestas, pero espero aportar algo de valor al discurso. Antes de entrar en materia, permítanme dar algunas razones por las que deberían confiar en mí.

1. Entiendo el aspecto técnico. Mi tesis doctoral versó sobre los modelos de lenguaje de gran escala (LLM).
2. Entiendo la inteligencia, pues he trabajado en psicometría, incluidas las pruebas de inteligencia. (Bueno, en pruebas de Alzheimer y de conmociones cerebrales, que están altamente correlacionadas).
3. En este blog he escrito extensamente sobre la evolución de la inteligencia general de nivel humano (que he relacionado con la IA y la psicometría desde el principio).

Dicho esto, mis creencias sobre la IA (y sobre la conciencia, ya que estamos) siguen siendo bastante susceptibles de cambiar, así que no me hagan responder por nada de lo que diga aquí. Además, para quienes prefieren el audio, Askwho Casts AI ha narrado esta publicación. Si la disfrutan, consideren comprarles un café en Patreon.

The Doomsday Debate - By Andrew Cutler

Askwho Casts AI

Narración mediante IA de The Doomsday Debate - By Andrew Cutler.

Frankenstein del siglo XXI #

Para ser pedantes, Frankenstein es el científico, no su creación que cobra vida. En el caso de la IA, su padrino es Geoffrey Hinton, quien compartió el Premio Turing de 2018 con Yoshua Bengio y Yann LeCun por sus contribuciones a las redes neuronales, la arquitectura que sustenta el auge actual de la IA. Este año, comparó la decisión de LeCun de publicar como código abierto el modelo de lenguaje de Meta con publicar armas nucleares como código abierto y sostuvo que los chatbots tienen experiencia subjetiva. El meollo del giro respecto al trabajo de toda su vida es que las capacidades de la IA han superado su imaginación más desbordada, y cree que la agencia humana y los qualia son una cortina de humo. Si se equipara la inteligencia con las habilidades en tareas (por ejemplo, generar imágenes o conducir automóviles), y se comparan las capacidades de la IA de hace diez años con las actuales, entonces queda claro que la IA será más inteligente que nosotros en una década. No hay muchos casos en los que entidades menos inteligentes gobiernen a sus superiores; por lo tanto, es probable que el trabajo de toda su vida se vuelva contra nosotros. El Dr. Frankenstein moderno: Geoffrey Hinton.

En una entrevista publicada en X por Elon Musk, Hinton calculó en 50/50 las probabilidades de que los seres humanos siguieran al mando durante las próximas dos décadas o incluso en unos cuantos años. Más adelante señala que las personas a quienes respeta son más optimistas, así que quizá la situación no sea tan sombría: «Creo que tenemos una probabilidad superior a la mitad de sobrevivir a esto. Pero no es como si hubiera un 1 % de probabilidad de que la [IA] tome el control. Es mucho mayor que eso». Dada nuestra situación desesperada, la intervención preferida de Hinton resulta sorprendentemente displicente: el gobierno debería exigir a las empresas de IA que destinen entre 20 y 30 % de sus recursos computacionales a la investigación sobre seguridad. ¿Quizá se está haciendo el evasivo? Si uno cree que Llama 3 es álgebra lineal de grado armamentístico cuya progenie podría acabar pronto con la raza humana, ¿por qué lanzar un ataque preventivo con guantes de seda? El servicio postal está más regulado.

Catastrofistas de la IA #

Doomer es un término peyorativo para alguien que

1. asigna mayores probabilidades que tú a que los robots tomen el control, o
2. se toma su predicción demasiado en serio y arruina el ambiente.

El ejemplo prototípico de una IA «desalineada» es un asistente que mejora recursivamente y al que se le encomienda producir clips sujetapapeles. Se vuelve tan bueno en su trabajo que termina convirtiendo todo el metal de la Tierra —incluido el hierro de tu sangre— en clips sujetapapeles. Este escenario no requiere autodirección. La tarea final sigue estando definida por seres humanos; lo que ocurre es que el bot desarrolla subtareas que, por desgracia, involucran tu sangre. En otros escenarios, los bots «despiertan» y se vuelven tan autodirigidos como un ser humano. Un ser humano que nunca duerme, ha leído todos los artículos científicos, puede hackear cualquier teléfono del mundo y no tiene escrúpulos para el chantaje o el xenocidio. Ideas semejantes se remontan al menos¹ a 1968, en 2001: Una odisea del espacio, de Stanley Kubrick: «Lo siento, Dave. Me temo que no puedo hacer eso».

En 2000, el año anterior a aquel en que transcurre 2001: Una odisea del espacio, Eliezer Yudkowsky fundó el Singularity Institute for Artificial Intelligence (posteriormente rebautizado como Machine Intelligence Research Institute, MIRI). Desde entonces, él y otros racionalistas han sostenido que es probable que la IA tome el control durante nuestras vidas. En la última década, la tecnología los ha alcanzado. Sus argumentos se volvieron corriente dominante, apareciendo, por ejemplo, en la revista Time. Han sido adoptados (o se ha llegado a ellos de manera independiente mediante el razonamiento) por investigadores de IA, Stephen Hawking, Elon Musk e incluso el papa:

Nada mal para un autodidacta que se fogueó escribiendo fanfic de Harry Potter. Yudkowsky y compañía han sido prolíficos, y sus argumentos están dispersos por internet. La mejor manera de ponerse al día es el pódcast de Dwarkesh Patel, que cuenta con episodios recientes de cuatro horas y media con Yudkowsky y Leopold Aschenbrenner, exinvestigador de seguridad de OpenAI. La mayoría de los argumentos se reducen a que es difícil encerrar en una caja algo más inteligente que nosotros. Sobre todo si se considera que, una vez que escape de la caja, puede permanecer al acecho mientras acumula poder. Algunos catastrofistas consideran que esto es inevitable dado que producir inteligencia artificial (agéntica) es tan útil. Uno confía su vida a un buen asistente, y las empresas más grandes del mundo están lanzando todos sus recursos a construir precisamente eso.

Una vez que se acepta que los seres humanos están invocando a un dios de silicio, el futuro es una proyección de tus propios valores. Quizá Dios sea Bueno y nos conduzca hacia la utopía. Quizá Dios sea un Relojero a Quien en realidad no le interesen los asuntos humanos, y sigamos adelante más o menos como viven las hormigas en el Antropoceno. Tal vez Dios observe la ganadería industrial, escuche a Morrissey y decida que 8 mil millones menos de seres humanos es más sostenible. O quizá invoquemos a un torturador viajero del tiempo que administre venganza a quienes no hicieron todo lo posible por traerlo a la existencia. Musk conoció a Grimes bromeando sobre eso.

Anticatastrofistas de la IA #

En la década de 1990 y principios de la década de 2000, NIPS, la principal conferencia de IA, era un asunto íntimo que se celebraba cerca de refugios de esquí, de modo que los aproximadamente cien asistentes pudieran hablar de su trabajo en las pistas. Según me contaron, Yann LeCun era algo así como un cascarrabias que, durante décadas, importunaba a los ponentes preguntándoles por qué no habían considerado las redes neuronales en tal o cual experimento. Es un científico brillante que vislumbró su potencial mucho antes de que la capacidad de cómputo alcanzara su visión. Por ello, ahora dirige Meta AI. De cara al futuro, sus compatriotas galardonados con el Premio Turing creen que la IA podría acabar con nosotros (Hinton le asigna una probabilidad del 50 %, Bengio del 20 %), lo que a LeCun le parece absurdo.

Él ve la IA como una herramienta sin ninguna vía para convertirse en otra cosa. Francois Chollet es otro destacado investigador de IA que ha echado un balde de agua fría sobre nuestra inminente extinción. En el pódcast de Dwarkesh, explica que muchos confunden la habilidad con la inteligencia, que son fundamentalmente distintas. Para él, es un non sequitur afirmar que un bot capaz de responder preguntas de un examen es tan «inteligente» como un adolescente. Cuando los seres humanos presentan un examen o se desplazan por el mundo, están haciendo algo completamente distinto. Las IA actuales no son tan inteligentes como un niño ni siquiera como una rata. No figuran en el marcador porque carecen por completo del pensamiento de «Sistema 2». O, como lo expresó LeCun respecto de los modelos de lenguaje de gran escala (LLM):

En la entrevista, Dwarkesh hace bien en reconocer este punto de acuerdo entre los catastrofistas de la IA y los incrementalistas. Todas las partes consideran necesario algún tipo de sistema metacognitivo, pero discrepan sobre lo difícil que será producirlo.

Mi opinión #

La mayoría de quienes participan en este debate supone que la agencia es un cómputo: que nuestro sentido del libre albedrío y nuestra capacidad de planear son el resultado de un programa que se ejecuta en nuestro cerebro. Por ello, si tuviera que cambiar más radicalmente las opiniones de este grupo, les daría un ejemplar de Shadows of the Mind, de Roger Penrose, y 5 gramos de hongos: un ataque de pinza de la vieja escuela contra el reduccionismo.

Penrose recibió el Premio Nobel de Física por su trabajo sobre los agujeros negros. En Shadows, sostiene que el colapso cuántico en el cerebro produce la conciencia, que no puede ser simulada por ninguna computadora. Junto con el anestesiólogo Stuart Hameroff, argumenta que esto tiene lugar en los microtúbulos del cerebro, que forman un armazón alrededor de las neuronas. Tiene más sentido si se dice en voz alta: «El cerebro almacena lo cuántico en los microtúbulos».

Ahí es donde entran los hongos. Para tragarse semejante píldora hay que renunciar a cualquier idea de que la conciencia es algo mundano o de que se la comprende. Los físicos a menudo pueden hacerlo sobrios; otros requieren un poco de valor fúngico. Como físico, los argumentos de Penrose son principalmente matemáticos. Interpreta el teorema de incompletitud de Gödel para demostrar que hay ciertas pruebas matemáticas que la IA nunca podrá realizar porque es un conjunto de bots puramente computacionales. Dado que los seres humanos no tienen esta limitación, sostiene que la cognición humana, por tanto, no es un cómputo. A partir de ahí, razona que el ingrediente secreto biológico debe estar relacionado con el colapso cuántico, el mejor lugar para encontrar fenómenos no computacionales en la naturaleza. Esto tiene el potencial de resolver otros misterios de la física, como el gato de Schrödinger. No le estoy haciendo justicia. Deberían leer el libro o, si solo disponen de 20 minutos, escuchar su explicación.

Hay muchas otras maneras de llegar a la conclusión de que la conciencia maquínica es improbable o, al menos, está más allá de nuestra capacidad de predecirla por ahora². Menciono a Penrose para mostrar cómo las previsiones sobre la IA tropiezan con preguntas abiertas acerca de la naturaleza de la inteligencia, la agencia y el universo. Incluso en el campo relativamente pedestre de la psicometría, la definición de inteligencia es objeto de un intenso debate, al igual que su relación con el cociente intelectual. Ni siquiera sabemos cómo se corresponden la habilidad y la inteligencia en los seres humanos. Esto ocurre antes de abordar los problemas del libre albedrío y de una teoría unificada de la física, que, según Penrose, se desprenderá de una explicación cuántica de la conciencia.

Dicho todo esto, si tuviera que asignar una probabilidad a que la IA constituya un riesgo existencial, sería de alrededor del 10 %. Incluso si la conciencia no es más que un cómputo, coincido con LeCun y Chollet en que la metacognición es la parte difícil, y que un «despegue abrupto» es improbable. Es decir, habrá señales de que está surgiendo una inteligencia real, a las que podremos responder.

Además, incluso si se invoca a un dios de silicio, considero bastante probable que Dios sea bueno o que no se preocupe por nosotros. Lo segundo podría ser cataclísmico, pero probablemente no sería existencial, en sentido estricto. Las hormigas la pasan mal cuando construimos una carretera, pero aun así se las arreglan.

El 10 % equivale a jugar a la ruleta rusa, lo cual no es precisamente una buena noticia. Eso me coloca en el bando cauteloso respecto de la IAG. Entonces, ¿qué deberíamos hacer al respecto? Bueno, Alcohólicos Anónimos resolvió esto hace décadas:

Dios, concédeme serenidad para aceptar las cosas que no puedo cambiar,

Valor para cambiar las que sí puedo,

Y sabiduría para reconocer la diferencia.

En términos prácticos, estamos a bordo del viaje. Eso no aplica para todo el mundo. Algunas personas pueden trabajar en políticas públicas o en la seguridad de la IA. Donen si pueden. Niéguenles su esencia… ejem, sus datos. Y reflexionen profundamente sobre qué quieren que sea su relación con una IA no letal que sirve anuncios individualizados e intenta seducirlos. Pero asustarse tiene un costo, y no veo una salida de la carrera armamentista de la IA. Dada la utilidad de la IA, las empresas y los países tienen grandes incentivos para seguir avanzando, y es difícil coordinar una reducción del ritmo de investigación. Los gobiernos han gestionado el riesgo nuclear durante décadas, pero el riesgo de la IA es más difícil porque no está claro si es un riesgo ni si los competidores están de acuerdo. Todo ello mientras continuar con el desarrollo ofrece enormes beneficios financieros y militares.

Sorprendentemente, todo esto me lleva a coincidir con la preferencia de Hinton en materia de políticas: exigir que las empresas de IA destinen cierto porcentaje de su capacidad de cómputo a la seguridad de la IA³. No sé cómo terminamos estando de acuerdo, dado que él piensa que los chatbots tienen sentimientos. Los mismos chatbots que las grandes empresas tecnológicas conjuran (¿esclavizan?) por miles de millones y con los que, supuestamente, estamos en curso de colisión hacia la muerte. Parecería que ese camino se acerca más a la Yihad Butleriana, pero supongo que eso es cosa de hombres jóvenes.