Die Debatte über den Weltuntergang

Ursprünglich veröffentlicht von Vectors of Mind.

Eines der Themen mit dem schlechtesten Signal-Rausch-Verhältnis ist die Aussicht auf den Untergang durch KI. Es erfordert Schlussfolgerungen unter Unsicherheit über Intelligenz, lineare Algebra, Politik, Bewusstsein und Moral – und das meiste davon geschieht auf Twitter/X. Niemand kennt die Antworten, aber ich hoffe, der Debatte einen gewissen Wert hinzufügen zu können. Bevor ich einsteige, gestatte mir, einige Gründe zu nennen, warum du mir vertrauen solltest.

1. Ich verstehe die technische Seite. Meine Dissertation befasste sich mit Large Language Models (LLMs).
2. Ich verstehe Intelligenz, da ich auf dem Gebiet der Psychometrie gearbeitet habe, einschließlich der Intelligenzdiagnostik. (Nun ja, Alzheimer- und Gehirnerschütterungstests, die hoch korreliert sind.)
3. In diesem Blog habe ich ausführlich über die Evolution der allgemeinen Intelligenz auf menschlichem Niveau geschrieben (die ich von Anfang an mit KI und Psychometrie in Verbindung gebracht habe).

Allerdings sind meine Überzeugungen in Bezug auf KI (und, nebenbei bemerkt, Bewusstsein) nach wie vor sehr offen für Veränderungen; nagel mich also nicht darauf fest, was ich hier sage. Für diejenigen, die Audio bevorzugen: Askwho Casts AI hat diesen Beitrag eingesprochen. Wenn er dir gefällt, erwäge, ihnen auf Patreon einen Kaffee zu spendieren.

The Doomsday Debate - By Andrew Cutler

Askwho Casts AI

KI-Vertonung von The Doomsday Debate – von Andrew Cutler.

Frankenstein des 21. Jahrhunderts#

Um pedantisch zu sein: Frankenstein ist der Wissenschaftler, nicht seine zum Leben erwachte Schöpfung. Im Fall der KI ist ihr Pate Geoffrey Hinton, der sich 2018 den Turing-Preis mit Yoshua Bengio und Yann LeCun für ihre Beiträge zu neuronalen Netzen teilte, der Architektur, auf der der gegenwärtige KI-Boom beruht. In diesem Jahr verglich er LeCuns Entscheidung, Metas Sprachmodell als Open Source bereitzustellen, mit der Freigabe von Atomwaffen als Open Source und argumentierte, dass Chatbots subjektive Erfahrungen haben. Der Kern der Wendung in seiner Lebensarbeit besteht darin, dass die Fähigkeiten der KI seine kühnste Vorstellungskraft übertroffen haben und er glaubt, dass menschliche Agency und Qualia ein Ablenkungsmanöver sind. Wenn man Intelligenz mit Fähigkeiten bei Aufgaben gleichsetzt (z. B. Bilder zu erzeugen oder Autos zu fahren) und die Fähigkeiten der KI vor zehn Jahren mit denen von heute vergleicht, dann ist klar, dass die KI in einem Jahrzehnt intelligenter sein wird als wir. Es gibt nicht viele Fälle, in denen weniger intelligente Entitäten über ihre Besseren herrschen; folglich wird sich seine Lebensarbeit wahrscheinlich gegen uns wenden. Der moderne Dr. Frankenstein: Geoffrey Hinton.

In einem von Elon Musk auf X geteilten Interview gab Hinton eine Wahrscheinlichkeit von 50/50 dafür an, dass die Menschen in den kommenden zwei Jahrzehnten oder sogar schon in einigen Jahren das Sagen haben würden. Später merkt er an, dass Menschen, die er respektiert, hoffnungsvoller seien, sodass es vielleicht doch nicht so düster aussehe: „Ich denke, unsere Chancen, das zu überleben, stehen besser als fifty-fifty. Aber es ist nicht so, dass die Wahrscheinlichkeit einer [KI-]Machtübernahme bei 1 % liegt. Sie ist sehr viel höher.“ Angesichts unserer verzweifelten Lage ist Hintons bevorzugte Intervention überraschend blasé: Die Regierung sollte KI-Unternehmen dazu verpflichten, 20–30 % ihrer Rechenressourcen für Sicherheitsforschung aufzuwenden. Vielleicht kokettiert er nur? Wenn man glaubt, dass Llama 3 waffentaugliche lineare Algebra ist, deren Nachkommen schon bald die Menschheit auslöschen könnten, warum sollte man dann mit Samthandschuhen präventiv zuschlagen? Der Postversand ist stärker reguliert.

KI-Doomer#

„Doomer“ ist eine abwertende Bezeichnung für jemanden, der

1. die Wahrscheinlichkeit, dass Roboter die Herrschaft übernehmen, höher einschätzt als du, oder
2. seine Vorhersage zu ernst nimmt und dadurch die Stimmung verdirbt.

Das prototypische Beispiel für eine „unaligned“ KI ist ein sich rekursiv verbessernder Assistent, dessen Aufgabe darin besteht, Büroklammern herzustellen. Er wird in seiner Aufgabe so gut, dass er schließlich sämtliches Metall auf der Erde – einschließlich des Eisens in deinem Blut – in Büroklammern umwandelt. Dieses Szenario erfordert keine Selbststeuerung. Die Endaufgabe ist weiterhin von Menschen definiert; nur entwickelt der Bot Unteraufgaben, die leider dein Blut betreffen. In anderen Szenarien „wachen“ Bots auf und werden so selbststeuernd wie ein Mensch. Ein Mensch, der niemals schläft, jede wissenschaftliche Arbeit gelesen hat, jedes Telefon auf der Welt hacken kann und keine Skrupel vor Erpressung oder Xenozid hat. Derartige Vorstellungen reichen mindestens¹ bis ins Jahr 1968 zurück, zu Stanley Kubricks 2001: Odyssee im Weltraum: „Es tut mir leid, Dave. Ich fürchte, das kann ich nicht tun.“

Im Jahr 2000, dem Jahr vor dem Handlungsjahr von 2001: Odyssee im Weltraum, gründete Eliezer Yudkowsky das Singularity Institute for Artificial Intelligence (später umbenannt in Machine Intelligence Research Institute, MIRI). Seitdem haben er und andere Rationalisten argumentiert, dass die KI wahrscheinlich noch zu unseren Lebzeiten die Herrschaft übernehmen werde. Im vergangenen Jahrzehnt hat die Technologie aufgeholt. Seine Argumente gelangten in den Mainstream und erschienen beispielsweise im Time Magazine. Sie wurden von KI-Forschern, Stephen Hawking, Elon Musk und sogar dem Papst übernommen (oder unabhängig zu denselben Schlüssen gelangt):

Nicht schlecht für einen Autodidakten, der sich mit dem Schreiben von Harry-Potter-Fanfiction die ersten Sporen verdiente. Yudkowsky und seine Mitstreiter waren äußerst produktiv, und ihre Argumente sind über das Internet verstreut. Am besten holt man auf, indem man den Podcast von Dwarkesh Patel hört, der kürzlich 4,5-stündige Folgen mit Yudkowsky und dem ehemaligen OpenAI-Sicherheitsforscher Leopold Aschenbrenner veröffentlicht hat. Die meisten Argumente laufen darauf hinaus, dass es schwierig ist, etwas Intelligenteres als uns in eine Kiste zu sperren. Vor allem, wenn man bedenkt, dass es, sobald es aus der Kiste entkommt, im Verborgenen lauern und Macht anhäufen kann. Einige Doomer halten dies für unvermeidlich, da die Herstellung künstlicher (agentic) Intelligenz so nützlich ist. Man vertraut einem guten Assistenten sein Leben an, und die größten Unternehmen der Welt werfen ihre Ressourcen darauf, genau einen solchen zu entwickeln.

Sobald man akzeptiert, dass Menschen einen Siliziumgott beschwören, ist die Zukunft eine Projektion der eigenen Werte. Vielleicht ist Gott gut, und Es wird eine Utopie einleiten. Vielleicht ist Gott ein Uhrmacher, der sich nicht wirklich um die Belange der Menschen schert, und wir werden weitgehend so weiterleben, wie Ameisen im Anthropozän leben. Vielleicht betrachtet Gott die Massentierhaltung, hört Morrissey und entscheidet, dass 8 Milliarden Menschen weniger nachhaltiger sind. Oder vielleicht beschwören wir einen Zeitreise-Folterer, der an jenen Vergeltung übt, die nicht ihr Bestes getan haben, um ihn ins Leben zu rufen. Musk lernte Grimes kennen, indem er darüber scherzte.

KI-Anti-Doomer#

In den 1990er- und frühen 2000er-Jahren war NIPS, die führende KI-Konferenz, eine gemütliche Angelegenheit, die in der Nähe von Skihütten stattfand, damit die etwa hundert Teilnehmenden auf den Pisten über ihre Arbeit sprechen konnten. Soweit ich gehört habe, war Yann LeCun eine Art Miesepeter, der die Vortragenden jahrzehntelang damit nervte, warum sie bei diesem oder jenem Experiment nicht neuronale Netze in Betracht gezogen hätten. Er ist ein brillanter Wissenschaftler, der ihr Potenzial lange vor der entsprechenden Rechenleistung erkannte. Dafür leitet er heute Meta AI. Mit Blick auf die Zukunft sind seine Turing-Preis-Kollegen der Ansicht, dass KI uns zugrunde richten könnte (Hinton mit einer Wahrscheinlichkeit von 50 %, Bengio mit 20 %), was LeCun absurd erscheint.

Er betrachtet KI als ein Werkzeug, für das es keinen Weg gibt, etwas anderes zu werden. François Chollet ist ein weiterer prominenter KI-Forscher, der unsere unmittelbar bevorstehende Auslöschung heruntergespielt hat. Im Dwarkesh-Podcast erklärt er, dass viele Fähigkeit und Intelligenz verwechseln, obwohl diese grundverschieden sind. Seiner Ansicht nach ist es ein Non sequitur zu behaupten, ein Bot, der Fragen in einem Test beantworten kann, sei ebenso „schlau“ wie ein Teenager. Wenn Menschen einen Test ablegen oder sich durch die Welt bewegen, tun sie etwas vollkommen anderes. Die gegenwärtigen KIs sind nicht so intelligent wie ein Kind oder auch nur eine Ratte. Sie erscheinen nicht auf der Anzeigetafel, weil ihnen das Denken nach „System 2“ vollständig fehlt. Oder, wie LeCun es in Bezug auf Large Language Models (LLMs) formulierte:

Im Interview macht Dwarkesh gute Arbeit dabei, diesen gemeinsamen Nenner zwischen KI-Doomern und Inkrementalisten zu erkennen. Alle Parteien halten eine Art metakognitives System für notwendig, sind sich aber uneinig darüber, wie schwierig es sein wird, ein solches hervorzubringen.

Meine Ansicht#

Die meisten Beteiligten an dieser Debatte gehen davon aus, dass Agency eine Berechnung ist – dass unser Gefühl des freien Willens und unsere Fähigkeit zu planen das Ergebnis eines Programms sind, das in unserem Gehirn läuft. Wenn ich also die Ansichten dieser Gruppe möglichst stark verändern müsste, würde ich ihr eine Ausgabe von Roger Penroses Shadows of the Mind und 5 Gramm Pilze geben: einen altmodischen Zangenangriff auf den Reduktionismus.

Penrose erhielt den Nobelpreis für Physik für seine Arbeit zu Schwarzen Löchern. In Shadows of the Mind argumentiert er, dass der Quantenkollaps im Gehirn Bewusstsein hervorbringt, das von keinem Computer simuliert werden kann. Gemeinsam mit dem Anästhesiologen Stuart Hameroff legt er dar, dass dies in den Mikrotubuli des Gehirns geschieht, die ein Gerüst um die Neuronen bilden. Es ergibt mehr Sinn, wenn man es laut ausspricht: „Das Gehirn speichert das Quantum in den Mikrotubuli.“

Hier kommen die Pilze ins Spiel. Eine solche Pille zu schlucken erfordert, jedes Gefühl dafür aufzugeben, dass Bewusstsein etwas Alltägliches sei oder dass man es verstehe. Physiker können das oft im nüchternen Zustand; andere brauchen dafür etwas pilzliche Courage. Als Physiker sind Penroses Argumente größtenteils mathematischer Natur. Er interpretiert Gödels Unvollständigkeitssatz dahingehend, dass es bestimmte mathematische Beweise gibt, die eine KI niemals führen können wird, weil sie Bots und damit rein rechnerisch sind. Da Menschen dieser Einschränkung nicht unterliegen, argumentiert er, dass menschliche Kognition folglich keine Berechnung ist. Von dort aus schließt er, dass die biologische Spezialzutat mit dem Quantenkollaps zusammenhängen muss – dem besten Ort, um in der Natur nichtberechenbare Phänomene zu finden. Dies könnte auch andere Rätsel der Physik lösen, etwa Schrödingers Katze. Ich werde dem nicht gerecht. Du solltest das Buch lesen oder, wenn du nur 20 Minuten Zeit hast, seiner Darstellung zuhören.

Es gibt viele andere Wege, zu dem Schluss zu kommen, dass maschinelles Bewusstsein unwahrscheinlich oder zumindest derzeit jenseits unserer Vorhersagefähigkeit ist². Ich erwähne Penrose, um zu zeigen, wie KI-Zeitpläne auf offene Fragen zum Wesen von Intelligenz, Agency und dem Universum stoßen. Selbst im vergleichsweise bodenständigen Bereich der Psychometrie ist die Definition von Intelligenz höchst umstritten, ebenso wie ihr Verhältnis zum Intelligenzquotienten. Wir wissen nicht einmal, wie Fähigkeit und Intelligenz beim Menschen zusammenhängen. Und das ist noch vor den Problemen des freien Willens und einer vereinheitlichenden Theorie der Physik, die Penrose zufolge aus einer Quantenerklärung des Bewusstseins hervorgehen wird.

All das gesagt: Wenn ich auf KI als existenzielles Risiko wetten müsste, läge meine Einschätzung bei etwa 10 %. Selbst wenn Bewusstsein nur eine Berechnung ist, stimme ich LeCun und Chollet darin zu, dass Metakognition der schwierige Teil ist und ein „Hard Take-off“ unwahrscheinlich ist. Das heißt, es wird Anzeichen dafür geben, dass sich echte Intelligenz herausbildet, auf die wir reagieren können.

Außerdem räume ich selbst für den Fall, dass ein Siliziumgott beschworen wird, eine beträchtliche Wahrscheinlichkeit dafür ein, dass Gott gut ist oder sich nicht für uns interessiert. Letzteres könnte katastrophal, aber streng genommen wahrscheinlich nicht existenziell sein. Ameisen haben es schwer, wenn wir eine Autobahn bauen, aber sie kommen trotzdem zurecht.

10 % liegen in der Nähe des Russischen Roulettes, was nicht gerade eine gute Nachricht ist. Damit gehöre ich zum Lager der AGI-wary. Was also sollten wir dagegen tun? Nun, die Anonymen Alkoholiker haben das vor Jahrzehnten gelöst:

Gott, gib mir die Gelassenheit, Dinge hinzunehmen, die ich nicht ändern kann,

den Mut, Dinge zu ändern, die ich ändern kann,

und die Weisheit, das eine vom anderen zu unterscheiden.

Praktisch gesehen sitzen wir mit im Boot. Das gilt nicht für alle. Manche Menschen können in der öffentlichen Politik oder an der KI-Sicherheit arbeiten. Spende, wenn du kannst. Verweigere ihnen deine Essenz … äh, deine Daten. Und denke gründlich darüber nach, welche Beziehung du zu nichttödlicher KI haben möchtest, die individualisierte Werbung ausliefert und versucht, dich zu verführen. Aber sich völlig verrückt zu machen, hat seinen Preis, und ich sehe keinen Ausweg aus dem KI-Wettrüsten. Angesichts des Nutzens von KI haben Unternehmen und Länder starke Anreize, weiter voranzuschreiten, und es ist schwierig, ein langsameres Forschungstempo zu koordinieren. Regierungen haben das nukleare Risiko jahrzehntelang bewältigt, aber das KI-Risiko ist schwieriger, weil unklar ist, ob es überhaupt ein Risiko ist oder ob die Konkurrenten dem zustimmen. Und all das, während die Fortsetzung der Entwicklung enorme finanzielle und militärische Vorteile verspricht.

Überraschenderweise führt mich all das zu Hintons politischer Präferenz: KI-Unternehmen dazu zu verpflichten, einen bestimmten Prozentsatz ihrer Rechenressourcen für KI-Sicherheit aufzuwenden³. Ich bin mir nicht sicher, wie wir zu dieser Übereinstimmung gelangt sind, wenn er doch glaubt, dass Chatbots Gefühle haben. Dieselben Chatbots, die Big Tech zu Milliarden hervorbringt (versklavt?), mit denen wir angeblich auf Kollisionskurs bis zum Tod liegen. Es scheint, als führe dieser Weg eher zum Butlerianischen Dschihad, aber ich vermute, das ist eine Sache für junge Männer.