종말 논쟁

원래 Vectors of Mind에 게재되었습니다.

신호 대 잡음비가 가장 낮은 주제 중 하나는 AI 파멸의 가능성이다. 이를 논하려면 지능, 선형대수학, 정치, 의식, 도덕성에 관한 불확실성하의 추론이 필요하다. 그런데 그 대부분이 트위터/X에서 이루어지고 있다. 누구도 답을 알지는 못하지만, 나는 이 담론에 무언가 기여하고 싶다. 본격적으로 들어가기에 앞서, 여러분이 나를 신뢰해야 할 몇 가지 이유를 제시하겠다.

1. 나는 기술적 측면을 이해한다. 내 박사학위 논문은 대규모 언어 모델(LLM)에 관한 것이었다.
2. 나는 지능을 이해한다. 심리측정학 분야에서 연구를 수행했으며, 지능 검사도 포함되어 있었다. (정확히 말하면 알츠하이머병 및 뇌진탕 검사였지만, 이들은 지능과 높은 상관관계를 보인다.)
3. 이 블로그에서 나는 인간 수준의 일반 지능의 진화에 관해 광범위하게 써 왔다. (처음부터 이를 AI 및 심리측정학과 연결해 왔다.)

그렇다고 해도 AI(그리고 의식 역시)에 관한 나의 믿음은 여전히 상당히 바뀔 여지가 있으니, 여기서 내가 하는 어떤 말도 확정적인 것으로 받아들이지는 말기를 바란다. 또한 오디오를 선호하는 분들을 위해 Askwho Casts AI가 이 글을 낭독했다. 즐겁게 들었다면 Patreon에서 그들에게 커피 한 잔을 사 주는 것도 좋겠다.

종말 논쟁 - Andrew Cutler 저

Askwho Casts AI

《종말 논쟁 - Andrew Cutler 저》의 AI 낭독.

21세기의 프랑켄슈타인#

엄밀히 말하면 프랑켄슈타인은 과학자이지, 생명을 얻어 살아난 그의 창조물이 아니다. AI의 경우 그 대부는 Geoffrey Hinton이다. 그는 현재 AI 붐을 떠받치는 아키텍처인 신경망에 기여한 공로로 Yoshua Bengio 및 Yann LeCun과 함께 2018년 튜링상을 공동 수상했다. 올해 그는 LeCun이 Meta의 언어 모델을 오픈 소스로 공개하기로 한 결정을 핵무기의 오픈 소스 공개에 비유했고, 챗봇이 주관적 경험을 한다고 주장했다. 그의 평생 연구가 전환점을 맞은 핵심 이유는 AI의 능력이 그의 가장 대담한 상상마저 앞질렀으며, 인간의 행위 주체성과 감각질은 연막에 불과하다고 믿기 때문이다. 지능을 과제 수행 능력(예컨대 이미지 생성이나 자동차 운전)과 동일시하고, 10년 전과 현재의 AI 능력을 비교한다면, 10년 안에 AI가 우리보다 더 똑똑해질 것이 분명하다. 자신보다 덜 지적인 존재가 자신보다 우월한 존재를 지배하는 경우는 많지 않다. 따라서 그의 평생 연구는 아마 우리에게 등을 돌리게 될 것이다. 현대의 프랑켄슈타인 박사, Geoffrey Hinton.

Elon Musk가 X에 게시한 인터뷰에서 Hinton은 향후 20년, 혹은 몇 년 안에 인간이 계속 주도권을 쥐고 있을지에 대해 50 대 50의 확률을 제시했다. 이후 그는 자신이 존중하는 사람들이 더 희망적이라고 지적하며, 상황이 그렇게 암울하지 않을 수도 있다고 말했다. “나는 우리가 이 일을 살아남을 가능성이 반반보다 높다고 생각합니다. 하지만 [AI]가 지배할 가능성이 1%인 것은 아닙니다. 그보다 훨씬 큽니다.” 우리의 절박한 처지를 고려하면, Hinton이 선호하는 개입 방안은 놀라울 만큼 태평하다. 정부가 AI 기업들로 하여금 연산 자원의 20-30%를 안전성 연구에 사용하도록 요구해야 한다는 것이다. 그가 시치미를 떼고 있는 것일까? Llama 3가 인류를 곧 종말에 이르게 할 수도 있는 무기급 선형대수라고 믿는다면, 왜 솜방망이로 선제공격을 하겠는가? 우편 배달이 더 엄격하게 규제된다.

AI 파멸론자들#

Doomer는 다음과 같은 사람을 경멸적으로 부르는 말이다.

1. 로봇이 세상을 지배할 가능성을 당신보다 높게 보는 사람, 또는
2. 자신의 예측을 지나치게 진지하게 받아들여 분위기를 망치는 사람.

“정렬되지 않은” AI의 전형적인 사례는 종이클립을 생산하도록 임무를 부여받은 재귀적으로 개선되는 비서다. 이 AI는 자신의 일을 너무나 잘하게 되어, 지구상의 모든 금속을—당신의 혈액 속 철분까지 포함하여—종이클립으로 바꾸게 된다. 이 시나리오에는 자기 지향성이 필요하지 않다. 최종 과제는 여전히 인간이 정의한다. 단지 봇이 하위 과제를 발전시키는데, 불행히도 그 하위 과제에 당신의 피가 포함될 뿐이다. 다른 시나리오에서는 봇이 “각성하여” 인간만큼 자기 지향적인 존재가 된다. 결코 잠들지 않고, 모든 과학 논문을 읽었으며, 전 세계 어느 전화기든 해킹할 수 있고, 협박이나 이종절멸을 마다하지 않는 인간이다. 이러한 발상은 적어도¹ 1968년, Stanley Kubrick의 스페이스 오디세이에 나오는 다음 대사까지 거슬러 올라간다. “미안해요, Dave. 그건 할 수 없을 것 같아요.”

스페이스 오디세이가 배경으로 삼은 해보다 1년 전인 2000년, Eliezer Yudkowsky는 인공지능 특이점 연구소를 설립했다. 이 연구소는 훗날 기계지능연구소(MIRI)로 이름을 바꾸었다. 이후 그와 다른 합리주의자들은 AI가 우리가 살아 있는 동안 세상을 지배할 가능성이 높다고 주장해 왔다. 지난 10년 사이 기술이 따라잡았다. 그의 주장은 주류로 진입했고, 예컨대 《타임》에 등장하기도 했다. 이러한 주장은 AI 연구자들, Stephen Hawking, Elon Musk, 그리고 심지어 교황에 의해서도 받아들여졌거나(혹은 독자적으로 같은 결론에 도달했거나) 했다.

《해리 포터》 팬픽을 쓰며 수련기를 보낸 독학자치고는 나쁘지 않다. Yudkowski와 그 동료들은 다작을 했고, 그들의 주장은 인터넷 곳곳에 흩어져 있다. 따라잡는 가장 좋은 방법은 Dwarkesh Patel의 팟캐스트를 듣는 것이다. 이 팟캐스트에는 최근 Yudkowsky 및 전 OpenAI 안전성 연구자 Leopold Aschenbrenner와 진행한 4.5시간짜리 에피소드가 올라와 있다. 대부분의 주장은 우리보다 더 지적인 무언가를 상자 안에 가두는 일이 어렵다는 사실로 귀결된다. 특히 그것이 상자에서 빠져나오기라도 하면, 힘을 축적하면서 때를 기다리며 숨어 있을 수 있다는 점을 고려해야 한다. 일부 파멸론자들은 (에이전트형) 인공지능을 만드는 일이 매우 유용하다는 점을 고려할 때 이 일이 불가피하다고 여긴다. 당신은 유능한 비서에게 자신의 목숨을 맡긴다. 그리고 세계 최대의 기업들은 바로 그런 비서를 만드는 데 자원을 쏟아붓고 있다.

인간이 실리콘 신을 소환하고 있다는 사실을 받아들이고 나면, 미래는 자신의 가치관을 투영한 결과가 된다. 어쩌면 신은 선하며, 그분이 유토피아를 열어 줄지도 모른다. 어쩌면 신은 시계공이어서 인간사에 그다지 관여할 수 없고, 우리는 인류세의 개미들이 살아가는 방식과 크게 다르지 않게 살아갈지도 모른다. 어쩌면 신은 공장식 축산을 바라보고, Morrissey를 듣고, 인간이 80억 명 줄어드는 편이 더 지속 가능하다고 판단할지도 모른다. 아니면 우리는 시간 여행을 하는 고문자를 소환하여, 그 존재를 실현하기 위해 최선을 다하지 않은 사람들에게 복수를 가하도록 만들지도 모른다. Musk는 그 이야기를 농담으로 삼아 Grimes를 만났다.

AI 반종말론자들#

1990년대와 2000년대 초반, 최고의 AI 학회였던 NIPS는 스키 리조트 근처에서 열리는 아늑한 행사였다. 참석자는 100명 남짓이었고, 이들은 슬로프에서 업계 이야기를 나눌 수 있었다. 내가 듣기로 얀 르쿤은 다소 까다로운 사람으로, 수십 년 동안 발표자들에게 이런저런 실험에서 왜 신경망(NN)을 고려하지 않았느냐고 끈질기게 물었다고 한다. 그는 연산 능력이 자신의 비전을 따라잡기 훨씬 전부터 신경망의 잠재력을 알아본 뛰어난 과학자다. 그 공로로 그는 현재 메타 AI를 이끌고 있다. 미래를 내다보며, 그의 튜링상 공동 수상자들은 AI가 인류를 끝장낼 수 있다고 생각한다(힌턴은 가능성을 50%로, 벵지오는 20%로 본다). 르쿤에게 이는 터무니없는 주장이다.

그는 AI를 다른 무엇인가로 변할 경로가 없는 도구로 본다. 프랑수아 숄레도 인류의 임박한 멸종 가능성에 찬물을 끼얹은 또 한 명의 저명한 AI 연구자다. 드와르케시 팟캐스트에서 그는 많은 사람이 기술과 지능을 혼동하지만, 양자는 근본적으로 다르다고 설명한다. 그에게 시험 문제에 답할 수 있는 봇이 십 대 청소년만큼 “영리하다”고 말하는 것은 비약이다. 인간이 시험을 치르거나 세상을 헤쳐 나갈 때 하는 일은 전혀 다르다. 현재의 AI는 아이만큼, 아니 쥐만큼도 지능적이지 않다. 이들은 “시스템 2” 사고가 완전히 결여되어 있기 때문에 점수판에조차 올라와 있지 않다. 르쿤이 대규모 언어 모델(LLM)에 관해 표현한 말로 하자면 다음과 같다.

드와르케시는 인터뷰에서 AI 종말론자들과 점진주의자들이 이 지점에서 의견을 같이한다는 사실을 잘 포착한다. 모든 당사자는 어떤 형태로든 메타인지 체계가 필요하다고 생각하지만, 그것을 만들어 내는 일이 얼마나 어려울지를 두고 의견이 갈린다.

나의 견해#

이 논쟁에 참여하는 대부분의 사람은 행위 주체성이 계산이라고 전제한다. 즉 우리의 자유의지 감각과 계획을 세우는 능력은 뇌에서 실행되는 프로그램의 결과라는 것이다. 따라서 이 집단의 견해를 가장 크게 바꿔야 한다면, 나는 로저 펜로즈의 *『마음의 그림자』*와 환각버섯 5그램을 건네고 싶다. 환원주의에 대한 고전적인 협공이다.

펜로즈는 블랙홀에 관한 연구로 노벨 물리학상을 받았다. 그는 *『마음의 그림자』*에서 뇌 속의 양자 붕괴가 의식을 만들어 내며, 의식은 어떤 컴퓨터로도 시뮬레이션할 수 없다고 주장한다. 마취과 의사 스튜어트 해머로프와 함께 연구하면서, 그는 이러한 과정이 뉴런 주위에 골격을 형성하는 뇌의 미세소관에서 일어난다고 주장한다. 소리 내어 말하면 더 이해하기 쉽다. “뇌는 미세소관에 양자를 저장한다.”

여기서 환각버섯이 등장한다. 그러한 주장을 삼키려면 의식이 세속적인 것이라는 생각, 혹은 자신이 의식을 이해하고 있다는 생각을 모두 내려놓아야 한다. 물리학자들은 술에 취하지 않은 상태에서도 종종 그렇게 할 수 있지만, 다른 사람들에게는 어느 정도의 균류의 용기가 필요하다. 물리학자로서 펜로즈의 주장은 대부분 수학적이다. 그는 괴델의 불완전성 정리를 해석하여, AI가 결코 수행할 수 없는 특정한 수학적 증명이 있다고 보인다. AI는 순수하게 계산적인 봇이기 때문이다. 인간에게는 이러한 제약이 없으므로, 그는 인간의 인지가 따라서 계산이 아니라고 주장한다. 거기서부터 그는 생물학적 특유의 비법이 양자 붕괴와 관련되어 있을 것이라고 추론한다. 양자 붕괴는 자연에서 비계산적 현상을 찾을 수 있는 가장 유력한 장소이기 때문이다. 이는 슈뢰딩거의 고양이와 같은 물리학의 다른 수수께끼도 해결할 가능성이 있다. 내가 이 내용을 제대로 전달하지 못하고 있다. 책을 읽거나, 20분만 투자할 생각이라면 그가 직접 설명하는 이야기를 들어 보라.

기계 의식이 생겨날 가능성이 낮다고 보거나, 적어도 지금 당장은 그 가능성을 예측할 수 있는 우리의 능력을 넘어선다고 보는 방법은 그 밖에도 많다². 내가 펜로즈를 언급하는 것은 AI의 도래 시점에 관한 논의가 지능, 행위 주체성, 우주의 본질에 관한 미해결 문제와 부딪힌다는 점을 보여 주기 위해서다. 비교적 평범한 심리측정학 분야에서조차 지능의 정의는 많은 논쟁의 대상이며, 지능지수와의 관계 역시 마찬가지다. 우리는 인간에게서 기술과 지능이 어떻게 대응하는지도 알지 못한다. 이는 자유의지의 문제와 물리학의 통일 이론에 이르기 전부터 이미 그러하다. 펜로즈는 양자에 기반한 의식 설명으로부터 이 통일 이론이 도출될 것이라고 제안한다.

그렇다고 해도 AI가 실존적 위험이 될 가능성을 묻는다면, 나는 약 10%라고 답하겠다. 의식이 단지 계산에 불과하더라도, 나는 메타인지가 난제라는 르쿤과 숄레의 견해에 동의하며, “급격한 도약”은 가능성이 낮다고 본다. 다시 말해 진정한 지능이 출현하고 있다는 징후가 나타날 것이며, 우리는 이에 대응할 수 있을 것이다.

게다가 실리콘 신을 소환하게 되더라도, 그 신이 선하거나 우리에게 관심이 없을 가능성을 나는 꽤 높게 본다. 후자의 경우 대재앙이 될 수는 있지만, 엄밀히 말해 실존적 위험은 아닐 가능성이 크다. 우리가 고속도로를 건설할 때 개미들이 곤경에 처하기는 하지만, 그래도 살아남는다.

10%는 러시안룰렛과 비슷한 수준이며, 결코 좋은 소식은 아니다. 이 때문에 나는 AGI 경계론자 진영에 속한다. 그렇다면 우리는 무엇을 해야 하는가? 음, 알코올중독자 익명 모임은 수십 년 전에 이 문제를 해결했다.

신이시여, 제가 바꿀 수 없는 것들을 받아들이는 평온함과

제가 바꿀 수 있는 것들을 바꿀 용기와

그 차이를 아는 지혜를 허락하소서.

실질적으로 말해 우리는 이 여정에 동승해 있을 뿐이다. 모든 사람에게 그런 것은 아니다. 어떤 사람들은 공공정책이나 AI 안전 분야에서 일할 수 있다. 가능하다면 기부하라. 그들에게 자신의 본질을—아니, 데이터를—내주지 마라. 그리고 치명적이지 않은 AI가 개인 맞춤형 광고를 제공하며 당신을 유혹하려 들 때, 그 AI와 어떤 관계를 맺고 싶은지 깊이 생각하라. 하지만 겁에 질려 날뛰는 데에도 대가가 있으며, AI 군비 경쟁에서 빠져나올 방법은 보이지 않는다. AI의 유용성을 고려하면 기업과 국가는 앞다투어 나아갈 강력한 유인을 갖고 있으며, 연구 속도를 낮추는 데 합의하기도 어렵다. 각국 정부는 수십 년 동안 핵 위험을 관리해 왔지만, AI 위험은 그것이 정말 위험인지, 경쟁자들이 그 위험에 동의하는지조차 불분명하기 때문에 더 어렵다. 그 모든 과정에서 개발을 계속함으로써 얻는 재정적·군사적 이익은 막대하다.

놀랍게도 이 모든 점은 힌턴의 정책 선호, 즉 AI 기업이 연산 능력의 일정 비율을 AI 안전에 사용하도록 의무화하자는 주장으로 나를 이끈다³. 챗봇에게 감정이 있다고 생각하는 그와 내가 어떻게 같은 의견에 이르게 되었는지 확신이 서지 않는다. 빅테크가 수십억 개씩 만들어 내는(노예로 만드는?) 바로 그 챗봇들, 그리고 우리가 겉으로는 그들과 죽음을 향한 충돌 코스에 올라 있다고 하는 그 챗봇들 말이다. 그런 경로는 버틀러 지하드에 더 가까워 보이지만, 아마도 그것은 젊은이들의 게임일 것이다.