O Debate do Juízo Final

Publicado originalmente por Vectors of Mind.

Um dos temas com a pior relação sinal-ruído é a perspectiva da perdição causada pela IA. Ela exige raciocínio sob incerteza acerca de inteligência, álgebra linear, política, consciência e moralidade — a maior parte do qual ocorre no Twitter/X. Ninguém conhece as respostas, mas espero acrescentar algum valor ao debate. Antes de prosseguir, permitam-me apresentar algumas razões pelas quais vocês deveriam confiar em mim.

1. Compreendo o aspecto técnico. Minha dissertação foi sobre Grandes Modelos de Linguagem (LLMs).
2. Compreendo a inteligência, tendo trabalhado em psicometria, incluindo testes de inteligência. (Bem, testes para Alzheimer e concussão, que são altamente correlacionados.)
3. Neste blog, escrevi extensivamente sobre a evolução da inteligência geral em nível humano (que relacionei à IA e à psicometria desde o início).

Dito isso, minhas crenças sobre IA (e sobre consciência, aliás) continuam bastante abertas à mudança; portanto, não me cobrem por nada do que digo aqui. Além disso, para aqueles que preferem áudio, a Askwho Casts AI narrou esta postagem. Se gostarem, considerem comprar-lhes um café no Patreon.

The Doomsday Debate — Por Andrew Cutler

Askwho Casts AI

Narração por IA de The Doomsday Debate — Por Andrew Cutler.

Frankenstein do século XXI #

Para ser pedante, Frankenstein é o cientista, não a criatura que ganha vida. No caso da IA, seu padrinho é Geoffrey Hinton, que dividiu o Prêmio Turing de 2018 com Yoshua Bengio e Yann LeCun por suas contribuições às redes neurais, a arquitetura que sustenta o atual boom da IA. Este ano, ele comparou a decisão de LeCun de disponibilizar em código aberto o modelo de linguagem da Meta à disponibilização de armas nucleares em código aberto e argumentou que os chatbots têm experiência subjetiva. O cerne da reviravolta em relação à obra de sua vida é que as capacidades da IA ultrapassaram sua imaginação mais selvagem, e ele acredita que a agência humana e os qualia são uma cortina de fumaça. Se você equipara inteligência às habilidades em tarefas (por exemplo, gerar imagens, dirigir carros) e compara as capacidades da IA de dez anos atrás com as de agora, então fica claro que a IA será mais inteligente do que nós em uma década. Não há muitos casos em que entidades menos inteligentes governem seus superiores; portanto, sua obra de vida provavelmente se voltará contra nós. O moderno Dr. Frankenstein: Geoffrey Hinton.

Em uma entrevista divulgada por Elon Musk no X, Hinton atribuiu probabilidade de 50/50 à possibilidade de os seres humanos ainda estarem no comando nas próximas duas décadas ou até mesmo em alguns anos. Mais tarde, ele observa que as pessoas que respeita são mais esperançosas, portanto talvez a situação não seja tão sombria: “Acho que temos uma probabilidade maior que a metade de sobreviver a isso. Mas não é como se houvesse uma chance de 1% de a [IA] assumir o controle. É muito maior do que isso.” Dadas as nossas circunstâncias desesperadoras, a intervenção preferida de Hinton é surpreendentemente blasé: o governo deveria exigir que as empresas de IA gastassem 20–30% de seus recursos computacionais em pesquisa de segurança. Talvez ele esteja dissimulando? Se alguém acredita que a Llama 3 é álgebra linear de grau bélico, cuja progênie poderá em breve pôr fim à raça humana, por que desferir preventivamente um golpe com luvas de pelica? A entrega postal é mais regulamentada.

Catastrofistas da IA #

Doomer é um termo pejorativo para alguém que

1. atribui uma probabilidade maior do que você à tomada do poder pelos robôs; ou
2. leva sua previsão a sério demais, estragando o clima.

O exemplo prototípico de uma IA “desalinhada” é um assistente que se aprimora recursivamente, encarregado de produzir clipes de papel. Ele se torna tão bom em seu trabalho que acaba convertendo todo o metal da Terra — inclusive o ferro do seu sangue — em clipes de papel. Esse cenário não exige autodireção. A tarefa final ainda é definida por humanos; o que ocorre é que o robô desenvolve subtarefas que, infelizmente, envolvem o seu sangue. Outros cenários fazem com que os robôs “despertem” e se tornem tão autodirecionados quanto um ser humano. Um ser humano que nunca dorme, leu todos os artigos científicos, consegue invadir qualquer telefone do mundo e não tem escrúpulos quanto a chantagem ou xenocídio. Ideias desse tipo remontam a pelo menos¹ 1968, em 2001: Uma Odisseia no Espaço, de Stanley Kubrick: “Sinto muito, Dave. Receio não poder fazer isso.”

Em 2000, um ano antes daquele em que 2001: Uma Odisseia no Espaço se passava, Eliezer Yudkowsky fundou o Singularity Institute for Artificial Intelligence (mais tarde renomeado como Machine Intelligence Research Institute, MIRI). Desde então, ele e outros Racionalistas vêm argumentando que a IA provavelmente assumirá o controle durante nossas vidas. Na última década, a tecnologia as alcançou. Seus argumentos chegaram ao mainstream, aparecendo, por exemplo, na revista Time. Eles foram adotados (ou aos quais se chegou de forma independente) por pesquisadores de IA, Stephen Hawking, Elon Musk e até mesmo o papa:

Nada mal para um autodidata que começou escrevendo fanfic de Harry Potter. Yudkowsky e sua turma têm sido prolíficos, e seus argumentos estão espalhados pela internet. A melhor maneira de se atualizar é o podcast de Dwarkesh Patel, que tem episódios recentes de 4,5 horas com Yudkowsky e Leopold Aschenbrenner, ex-pesquisador de segurança da OpenAI. A maioria dos argumentos se reduz à dificuldade de colocar em uma caixa algo mais inteligente do que nós. Especialmente considerando que, se algum dia sair da caixa, poderá ficar à espreita, acumulando poder. Alguns catastrofistas consideram isso inevitável, dado que produzir inteligência artificial (agentic) é tão útil. Você confia a própria vida a um bom assistente, e as maiores empresas do mundo estão lançando seus recursos na construção precisamente disso.

Uma vez que você aceita que os seres humanos estão invocando um deus de silício, o futuro se torna uma projeção de seus próprios valores. Talvez Deus seja Bom, e Ele inaugure uma utopia. Talvez Deus seja um Relojoeiro que não possa realmente se dar ao trabalho de se ocupar dos assuntos humanos, e continuemos mais ou menos como as formigas vivem no Antropoceno. Talvez Deus olhe para a pecuária industrial, escute Morrissey e decida que 8 bilhões de seres humanos a menos são mais sustentáveis. Ou talvez invoquemos um torturador viajante do tempo que distribua vingança entre aqueles que não fizeram o melhor possível para trazê-lo à existência. Musk conheceu Grimes fazendo uma piada sobre isso.

Os anticatastrofistas da IA #

Nos anos 1990 e no início dos anos 2000, a NIPS, a principal conferência de IA, era um evento intimista realizado perto de estações de esqui, para que os cerca de cem participantes pudessem conversar sobre seu trabalho nas pistas. Pelo que ouvi dizer, Yann LeCun era uma espécie de ranzinza que, durante décadas, importunava os apresentadores perguntando por que eles não haviam considerado redes neurais em um ou outro experimento. Ele é um cientista brilhante que enxergou o potencial delas muito antes de o poder computacional alcançar sua visão. Por isso, agora lidera a Meta AI. Olhando para o futuro, seus colegas laureados com o Prêmio Turing acham que a IA pode nos extinguir (Hinton atribui 50% de probabilidade, Bengio, 20%), o que parece absurdo para LeCun.

Ele vê a IA como uma ferramenta sem possibilidade de se tornar algo diferente. Francois Chollet é outro importante pesquisador de IA que tem minimizado nossa iminente extinção. No podcast de Dwarkesh, ele explica que muitos confundem habilidade e inteligência, que são fundamentalmente diferentes. Para ele, é um non sequitur dizer que um bot capaz de responder a perguntas de uma prova é tão “inteligente” quanto um adolescente. Quando os seres humanos fazem uma prova ou navegam pelo mundo, estão fazendo algo inteiramente diferente. As IAs atuais não são tão inteligentes quanto uma criança ou sequer um rato. Elas não estão no placar porque carecem completamente do pensamento do “Sistema 2”. Ou, nas palavras de LeCun sobre os grandes modelos de linguagem (LLMs):

Na entrevista, Dwarkesh faz bem em reconhecer esse ponto de concordância entre os catastrofistas da IA e os incrementalistas. Todas as partes acham necessário algum tipo de sistema metacognitivo, mas discordam quanto à dificuldade de produzi-lo.

Minha visão #

A maioria dos participantes desse debate pressupõe que a agência é uma computação — que nosso senso de livre-arbítrio e nossa capacidade de planejar são o resultado de um programa em execução no cérebro. Assim, se eu tivesse de mudar mais radicalmente as opiniões desse grupo, daria a eles um exemplar de Shadows of the Mind, de Roger Penrose, e 5 gramas de cogumelos mágicos: um ataque de pinça à moda antiga contra o reducionismo.

Penrose recebeu o Prêmio Nobel de Física por seu trabalho sobre buracos negros. Em Shadows, ele argumenta que o colapso quântico no cérebro produz a consciência, que não pode ser simulada por nenhum computador. Trabalhando com o anestesiologista Stuart Hameroff, ele defende que isso ocorre nos microtúbulos do cérebro, que formam uma estrutura de sustentação ao redor dos neurônios. Faz mais sentido quando se diz em voz alta: “O cérebro armazena o quântico nos microtúbulos.”

É aí que entram os cogumelos mágicos. Engolir uma pílula dessas exige abrir mão de qualquer noção de que a consciência seja algo mundano ou de que você a compreenda. Os físicos muitas vezes conseguem fazer isso sóbrios; outros precisam de um pouco de coragem fúngica. Como físico, os argumentos de Penrose são sobretudo matemáticos. Ele interpreta o teorema da incompletude de Gödel para mostrar que há certas provas matemáticas que a IA jamais será capaz de realizar porque eles são bots, que são puramente computacionais. Como os seres humanos não têm essa limitação, ele argumenta que a cognição humana, portanto, não é uma computação. A partir daí, raciocina que o ingrediente especial biológico deve estar relacionado ao colapso quântico, o melhor lugar para encontrar fenômenos não computacionais na natureza. Isso tem o potencial de solucionar outros mistérios da física, como o gato de Schrödinger. Não estou fazendo justiça ao argumento. Você deveria ler o livro ou, dispondo de 20 minutos, ouvir seu relato.

Há muitas outras maneiras de chegar à conclusão de que a consciência maquínica é improvável, ou pelo menos está além de nossa capacidade atual de previsão². Menciono Penrose para mostrar como os cronogramas da IA esbarram em questões em aberto acerca da natureza da inteligência, da agência e do universo. Mesmo no campo relativamente prosaico da psicometria, a definição de inteligência é altamente debatida, assim como sua relação com o quociente de inteligência. Nós sequer sabemos como habilidade e inteligência se correspondem nos seres humanos. Isso antes de chegarmos aos problemas do livre-arbítrio e de uma teoria unificadora da física, que, segundo Penrose, emergirá de uma explicação quântica da consciência.

Dito isso, se tivesse de atribuir uma probabilidade à IA como risco existencial, ela seria de cerca de 10%. Mesmo que a consciência seja apenas uma computação, concordo com LeCun e Chollet que a metacognição é a parte difícil, e uma “hard take-off” é improvável. Isto é, haverá sinais de que uma inteligência real está emergindo, aos quais poderemos responder.

Além disso, mesmo que um deus de silício seja convocado, atribuo uma probabilidade razoável a que Deus seja bom ou não se importe conosco. A segunda possibilidade poderia ser cataclísmica, mas provavelmente não seria existencial, falando estritamente. As formigas sofrem quando construímos uma rodovia, mas continuam sobrevivendo.

10% está nas proximidades da roleta-russa, o que não é exatamente uma boa notícia. Isso me coloca no campo dos cautelosos em relação à AGI. Então, o que deveríamos fazer a respeito? Bem, os Alcoólicos Anônimos resolveram isso décadas atrás:

Deus, conceda-me serenidade para aceitar as coisas que não posso mudar,

Coragem para mudar as coisas que posso,

E sabedoria para distinguir umas das outras.

Na prática, estamos embarcados nessa viagem. Isso não vale para todos. Algumas pessoas podem trabalhar com políticas públicas ou segurança da IA. Faça uma doação, se puder. Negue-lhes sua essência… quer dizer, seus dados. E pense profundamente sobre que tipo de relação você deseja ter com uma IA não letal que veicula anúncios personalizados e tenta seduzi-lo. Mas há um custo em entrar em pânico, e não vejo uma saída para a corrida armamentista da IA. Dada a utilidade da IA, empresas e países têm fortes incentivos para avançar, e é difícil coordenar uma redução no ritmo das pesquisas. Os governos administraram o risco nuclear durante décadas, mas o risco da IA é mais difícil porque não está claro se ele é um risco ou se os concorrentes concordam que o seja. Tudo isso enquanto há enormes vantagens financeiras e militares em continuar o desenvolvimento.

Surpreendentemente, tudo isso me leva à preferência de Hinton em termos de políticas públicas: exigir que as empresas de IA gastem alguma porcentagem de seus recursos computacionais em segurança da IA³. Não sei ao certo como acabamos concordando, dado que ele acha que os chatbots têm sentimentos. Os mesmos chatbots que a Big Tech conjura (escraviza?) aos bilhões e com os quais, supostamente, estamos em rota de colisão rumo à morte. Parece que esse caminho está mais próximo da Jihad Butleriana, mas suponho que isso seja coisa de gente jovem.