مناظرهٔ روز قیامت

نخستین‌بار توسط بردارهای ذهن منتشر شد.

یکی از موضوعاتی که بدترین نسبت سیگنال به نویز را دارد، چشم‌انداز نابودی به‌دست هوش مصنوعی است. این موضوع مستلزم استدلال‌ورزی در شرایط عدم‌قطعیت دربارهٔ هوش، جبر خطی، سیاست، آگاهی و اخلاق است—که بخش عمدهٔ آن در توییتر/X رخ می‌دهد. هیچ‌کس پاسخ‌ها را نمی‌داند، اما امیدوارم بتوانم ارزشی به این گفتمان بیفزایم. پیش از ورود به بحث، اجازه دهید چند دلیل برای اعتمادکردن به من ارائه کنم.

1. جنبهٔ فنی موضوع را درک می‌کنم. رسالهٔ دکتری‌ام دربارهٔ مدل‌های زبانی بزرگ (LLMها) بود.
2. هوش را درک می‌کنم، چون در روان‌سنجی کار کرده‌ام، از جمله در زمینهٔ سنجش هوش. (البته در واقع سنجش آلزایمر و ضربهٔ مغزی، که همبستگی بالایی با آن دارند.)
3. در این وبلاگ به‌تفصیل دربارهٔ تکامل هوش عمومی در سطح انسان نوشته‌ام (و از همان ابتدا آن را به هوش مصنوعی و روان‌سنجی مرتبط کرده‌ام).

بااین‌حال، باورهایم دربارهٔ هوش مصنوعی (و به‌همین‌منوال، آگاهی) همچنان تا حد زیادی آمادهٔ تغییرند؛ پس مرا به هیچ‌یک از چیزهایی که اینجا می‌گویم مقید ندانید. همچنین، برای کسانی که قالب صوتی را ترجیح می‌دهند، Askwho Casts AI این نوشته را روایت کرده است. اگر از آن لذت بردید، می‌توانید در Patreon برایشان یک قهوه بخرید.

مناظرهٔ روز قیامت - نوشتهٔ اندرو کاتلر

Askwho Casts AI

روایت صوتیِ «مناظرهٔ روز قیامت - نوشتهٔ اندرو کاتلر».

فرانکنشتاین قرن بیست‌ویکم#

اگر بخواهیم مو را از ماست بکشیم، فرانکنشتاین دانشمند است، نه مخلوقی که زنده می‌شود. در حوزهٔ هوش مصنوعی، پدرخواندهٔ آن جفری هینتون است؛ کسی که در سال ۲۰۱۸، به‌سبب مشارکت‌هایش در شبکه‌های عصبی—معماریِ زیربنای رونق کنونی هوش مصنوعی—جایزهٔ تورینگ را با یوشوا بنجیو و یان لوکان به‌طور مشترک دریافت کرد. او امسال تصمیم لوکان برای متن‌بازکردن مدل زبانی متا را با متن‌بازکردن سلاح‌های هسته‌ای مقایسه کرد و استدلال کرد که چت‌بات‌ها تجربهٔ ذهنی دارند. هستهٔ دگرگونیِ حاصل در کارِ زندگی او این است که توانایی‌های هوش مصنوعی از دورترین تخیلاتش نیز فراتر رفته‌اند و او باور دارد عاملیت انسانی و کوالیا پرده‌ای دودآلودند. اگر هوش را با مهارت در انجام وظایف (برای مثال، تولید تصاویر یا رانندگی خودروها) یکی بگیرید و توانایی‌های هوش مصنوعی را در ده سال پیش با امروز مقایسه کنید، آن‌گاه روشن است که هوش مصنوعی طی یک دهه از ما باهوش‌تر خواهد شد. موارد چندانی وجود ندارد که موجودات کم‌هوش‌تر بر برتران خود حکم برانند؛ بنابراین، کارِ زندگی او احتمالاً علیه ما به‌کار خواهد افتاد. دکتر فرانکنشتاین مدرن: جفری هینتون.

هینتون در مصاحبه‌ای که ایلان ماسک در ایکس بازنشر کرد، احتمال این‌که انسان‌ها در دو دههٔ آینده یا حتی در چند سال آینده زمام امور را در دست داشته باشند، ۵۰/۵۰ دانست. او بعدتر اشاره می‌کند که افراد مورد احترامش امیدوارترند، پس شاید اوضاع آن‌قدر تیره نباشد: «فکر می‌کنم شانس ما برای زنده‌ماندن از پنجاه درصد بیشتر است. اما این‌طور نیست که احتمال [به‌دست‌گرفتن کنترل] توسط هوش مصنوعی ۱٪ باشد. این احتمال بسیار بیشتر از آن است.» با توجه به وضعیت اسف‌بارمان، مداخلهٔ پیشنهادی هینتون به‌طرز شگفت‌آوری بی‌خیالانه است: دولت باید شرکت‌های هوش مصنوعی را ملزم کند ۲۰-۳۰٪ از منابع محاسباتی خود را صرف پژوهش ایمنی کنند. شاید دارد خود را به نادانی می‌زند؟ اگر کسی باور داشته باشد که Llama 3 جبر خطیِ در حد سلاح است و فرزندانش ممکن است به‌زودی به نسل بشر پایان دهند، چرا باید پیش‌دستانه با دستکش‌های ابریشمی حمله کرد؟ تحویل مرسولات پستی مقررات بیشتری دارد.

نابودگرایان هوش مصنوعی#

«نابودگرا» تعبیری تحقیرآمیز برای کسی است که

1. احتمال سلطهٔ روبات‌ها را بیشتر از شما می‌داند، یا
2. پیش‌بینی خود را بیش از حد جدی می‌گیرد و حال‌وهوای جمع را خراب می‌کند.

نمونهٔ تیپیک هوش مصنوعیِ «ناهم‌راستا» دستیاری است که به‌طور بازگشتی خود را بهبود می‌دهد و مأموریت دارد گیرهٔ کاغذ تولید کند. آن‌قدر در کارش خوب می‌شود که سرانجام تمام فلزات روی زمین—از جمله آهن موجود در خون شما—را به گیرهٔ کاغذ تبدیل می‌کند. این سناریو به خودهدایتی نیاز ندارد. وظیفهٔ نهایی همچنان به‌دست انسان تعریف شده است؛ فقط ربات خرده‌وظایفی را ایجاد می‌کند که، شوربختانه، خون شما را نیز دربرمی‌گیرند. در سناریوهای دیگر، ربات‌ها «بیدار می‌شوند» و به‌اندازهٔ انسان خودهدایتگر می‌شوند. انسانی که هرگز نمی‌خوابد، هر مقالهٔ علمی را خوانده است، می‌تواند هر تلفنی را در جهان هک کند و دربارهٔ باج‌گیری یا زنوساید هیچ ملاحظه‌ای ندارد. چنین ایده‌هایی دست‌کم¹ به سال ۱۹۶۸ و ۲۰۰۱: ادیسهٔ فضایی استنلی کوبریک بازمی‌گردند: «متأسفم، دیو. می‌ترسم نتوانم این کار را انجام دهم.»

در سال ۲۰۰۰، یعنی سالی پیش از سالی که ادیسهٔ فضایی در آن می‌گذشت، الیعزر یودکوفسکی مؤسسهٔ تکینگی برای هوش مصنوعی را بنیان گذاشت (که بعدها به مؤسسهٔ پژوهش هوش ماشینی، MIRI، تغییر نام داد). از آن زمان، او و دیگر خردگراها استدلال کرده‌اند که هوش مصنوعی احتمالاً در طول عمر ما زمام امور را به‌دست خواهد گرفت. در دههٔ گذشته، فناوری به این دیدگاه رسیده است. استدلال‌های او به جریان اصلی راه یافتند و برای نمونه در مجلهٔ تایم منتشر شدند. این استدلال‌ها را پژوهشگران هوش مصنوعی، استیون هاوکینگ، ایلان ماسک و حتی پاپ پذیرفته‌اند (یا به‌طور مستقل به آن‌ها رسیده‌اند):

برای خودآموخته‌ای که کارش را با نوشتن داستان هواداری هری پاتر آغاز کرد، بد نیست. یودکوفسکی و گروهش آثار فراوانی تولید کرده‌اند و استدلال‌هایشان در سراسر اینترنت پراکنده است. بهترین راه برای آگاهی‌یافتن از آن‌ها پادکست دوارکش پاتل است که اخیراً قسمت‌هایی ۴٫۵ساعته با یودکوفسکی و پژوهشگر پیشین ایمنی در OpenAI، لئوپولد آشن‌برنر منتشر کرده است. بخش عمدهٔ استدلال‌ها در نهایت به این نکته بازمی‌گردد که قراردادن موجودی باهوش‌تر از ما درون یک جعبه دشوار است؛ به‌ویژه با توجه به این‌که اگر روزی از جعبه بیرون بیاید، می‌تواند در کمین بماند و قدرت جمع کند. برخی نابودگرایان این امر را اجتناب‌ناپذیر می‌دانند، زیرا تولید هوش مصنوعیِ (عامل‌محور) بسیار سودمند است. شما جان خود را به دستیار خوبی می‌سپارید و بزرگ‌ترین شرکت‌های جهان منابع خود را برای ساخت دقیقاً چنین چیزی به‌سوی آن روانه می‌کنند.

وقتی بپذیرید که انسان‌ها در حال احضار خدایی سیلیکونی‌اند، آینده به فرافکنی ارزش‌های خودتان تبدیل می‌شود. شاید خدا خیر باشد و آن ما را به‌سوی آرمان‌شهر هدایت کند. شاید خدا ساعت‌ساز باشد و آن‌قدر درگیر امور انسانی نشود، و ما نیز تقریباً همان‌طور به زندگی ادامه دهیم که مورچه‌ها در آنتروپوسن زندگی می‌کنند. شاید خدا به دامداری صنعتی نگاه کند، به موریسی گوش دهد و تصمیم بگیرد که ۸ میلیارد انسان کمتر، پایدارتر است. یا شاید شکنجه‌گری را احضار کنیم که در زمان سفر می‌کند و از کسانی که تمام تلاش خود را برای به‌وجودآوردنش نکرده‌اند انتقام بگیرد. ماسک با شوخی دربارهٔ همین موضوع با گرایمز آشنا شد.

ضدنابودگرایان هوش مصنوعی#

در دههٔ ۱۹۹۰ و اوایل دههٔ ۲۰۰۰، نیپس (NIPS)، کنفرانس برتر هوش مصنوعی، محفلی صمیمی بود که در نزدیکی اقامتگاه‌های اسکی برگزار می‌شد تا حدود صد شرکت‌کننده بتوانند هنگام اسکی‌کردن دربارهٔ کارشان گفت‌وگو کنند. آن‌طور که من شنیده‌ام، یان لوکان تا حدی آدمی عبوس و ایرادگیر بود که دهه‌ها ارائه‌دهندگان را زیر سؤال می‌برد که چرا در فلان آزمایش یا بهمان آزمایش شبکه‌های عصبی را در نظر نگرفته‌اند. او دانشمندی درخشان است که مدت‌ها پیش از آن‌که توان محاسباتی به پای چشم‌اندازش برسد، پتانسیل آن‌ها را دیده بود. به همین دلیل است که اکنون رهبری هوش مصنوعی متا را بر عهده دارد. همکارانش در دریافت جایزهٔ تورینگ، با نگاه به آینده، معتقدند هوش مصنوعی ممکن است کارمان را تمام کند (هینتون با احتمال ۵۰ درصد، بنگیو با احتمال ۲۰ درصد)؛ دیدگاهی که از نظر لوکان پوچ است.

او هوش مصنوعی را ابزاری می‌بیند که هیچ مسیری برای تبدیل‌شدن به چیز دیگری ندارد. فرانسوا شوله، پژوهشگر برجستهٔ دیگری در حوزهٔ هوش مصنوعی، نیز آب سردی بر ادعای انقراض قریب‌الوقوع ما ریخته است. او در پادکست دوارکش توضیح می‌دهد که بسیاری مهارت و هوش را با هم اشتباه می‌گیرند، حال آن‌که این دو اساساً متفاوت‌اند. از نظر او، این‌که بگوییم رباتی که می‌تواند به پرسش‌های یک آزمون پاسخ دهد به اندازهٔ یک نوجوان «باهوش» است، نتیجه‌ای نامربوط است. انسان‌ها هنگام شرکت در آزمون یا پیمودن جهان، مشغول انجام کاری کاملاً متفاوت‌اند. هوش مصنوعی‌های کنونی به اندازهٔ یک کودک یا حتی یک موش هوشمند نیستند. آن‌ها روی جدول امتیازات نیستند، چون به‌کلی فاقد تفکر «نظام ۲» هستند. یا به تعبیر لوکان دربارهٔ مدل‌های زبانی بزرگ (LLMها):

دوارکش در این مصاحبه به‌خوبی متوجه این نقطهٔ توافق میان نابودگرایان هوش مصنوعی و تدریج‌گرایان می‌شود. همهٔ طرف‌ها معتقدند نوعی نظام فراشناختی ضروری است، اما دربارهٔ دشواری تولید آن اختلاف‌نظر دارند.

دیدگاه من#

بیشتر افراد در این مناظره فرض می‌کنند عاملیت نوعی محاسبه است—این‌که احساس ما از ارادهٔ آزاد و توانایی برنامه‌ریزی، حاصل اجرای برنامه‌ای در مغز ماست. بنابراین، اگر قرار بود بیشترین تغییر را در دیدگاه این گروه ایجاد کنم، به هر یک نسخه‌ای از کتاب سایه‌های ذهن اثر راجر پنروز و ۵ گرم قارچ جادویی می‌دادم: حمله‌ای گازانبری و به‌شیوهٔ قدیم علیه تقلیل‌گرایی.

پنروز برای کارش دربارهٔ سیاه‌چاله‌ها جایزهٔ نوبل فیزیک را دریافت کرد. او در سایه‌ها استدلال می‌کند که فروپاشی کوانتومی در مغز، آگاهی را پدید می‌آورد و هیچ رایانه‌ای نمی‌تواند آن را شبیه‌سازی کند. او با همکاری متخصص بیهوشی، استوارت همروف، استدلال می‌کند که این فرایند در ریزلوله‌های مغز رخ می‌دهد؛ ریزلوله‌هایی که داربستی پیرامون نورون‌ها تشکیل می‌دهند. اگر آن را با صدای بلند بگویید، معقول‌تر به نظر می‌رسد: «مغز، کوانتوم را در ریزلوله‌ها ذخیره می‌کند.»

قارچ‌ها از این‌جا وارد ماجرا می‌شوند. پذیرفتن چنین دیدگاهی مستلزم آن است که از هر تصوری مبنی بر معمولی‌بودن آگاهی، یا از این‌که آن را می‌فهمید، دست بکشید. فیزیک‌دانان اغلب می‌توانند این کار را در حالت هوشیاری انجام دهند؛ دیگران به اندکی شجاعت قارچی نیاز دارند. استدلال‌های پنروز، به‌عنوان یک فیزیک‌دان، عمدتاً ریاضی‌اند. او قضیهٔ ناتمامیت گودل را به‌گونه‌ای تفسیر می‌کند که نشان دهد برخی برهان‌های ریاضی هستند که هوش مصنوعی هرگز قادر به انجامشان نخواهد بود، چون ربات‌ها کاملاً محاسباتی‌اند. او استدلال می‌کند که چون انسان‌ها چنین محدودیتی ندارند، شناخت انسانی، بنابراین، محاسبه نیست. سپس نتیجه می‌گیرد که مادهٔ محرمانهٔ زیستی باید به فروپاشی کوانتومی مربوط باشد؛ بهترین جایی که می‌توان پدیده‌های غیرمحاسباتی را در طبیعت یافت. این دیدگاه می‌تواند معماهای دیگری در فیزیک، مانند گربهٔ شرودینگر، را نیز حل کند. من حق مطلب را ادا نمی‌کنم. باید کتاب را بخوانید یا، اگر فقط ۲۰ دقیقه وقت دارید، شرح خود او را بشنوید.

راه‌های بسیار دیگری نیز برای رسیدن به این نتیجه وجود دارد که آگاهی ماشینی نامحتمل است، یا دست‌کم فعلاً فراتر از توانایی ما برای پیش‌بینی قرار دارد². من پنروز را پیش می‌کشم تا نشان دهم جدول‌های زمانی هوش مصنوعی با پرسش‌های گشوده دربارهٔ ماهیت هوش، عاملیت و جهان هستی برخورد می‌کنند. حتی در حوزهٔ نسبتاً پیش‌پاافتادهٔ روان‌سنجی، تعریف هوش به‌شدت محل مناقشه است، همان‌طور که رابطهٔ آن با بهرهٔ هوشی نیز چنین است. ما حتی نمی‌دانیم مهارت و هوش در انسان‌ها چگونه با یکدیگر متناظرند. این تازه پیش از رسیدن به مسائل ارادهٔ آزاد و نظریه‌ای وحدت‌بخش در فیزیک است؛ نظریه‌ای که پنروز پیشنهاد می‌کند از تبیینی کوانتومی برای آگاهی حاصل خواهد شد.

با همهٔ این احوال، اگر مجبور باشم دربارهٔ هوش مصنوعی به‌عنوان خطری وجودی احتمال تعیین کنم، آن را حدود ۱۰ درصد می‌دانم. حتی اگر آگاهی صرفاً یک محاسبه باشد، با لوکان و شوله موافقم که فراشناخت بخش دشوار ماجراست و «جهش ناگهانی» بعید است. یعنی نشانه‌هایی وجود خواهد داشت که هوش واقعی در حال ظهور است و ما خواهیم توانست به آن واکنش نشان دهیم.

افزون بر این، حتی اگر خدایی سیلیکونی احضار شود، احتمال نسبتاً خوبی می‌دهم که خدا خیرخواه باشد یا به ما اهمیت ندهد. حالت دوم می‌تواند فاجعه‌بار باشد، اما به معنای دقیق کلمه احتمالاً وجودی نخواهد بود. وقتی ما بزرگراه می‌سازیم، مورچه‌ها روزگار سختی دارند، اما باز هم به زندگی‌شان ادامه می‌دهند.

۱۰ درصد در همسایگی بازی رولت روسی است، که دقیقاً خبر خوبی نیست. این مرا در جبههٔ محتاطان نسبت به AGI قرار می‌دهد. پس دربارهٔ آن چه باید بکنیم؟ خب، انجمن الکلی‌های گمنام دهه‌ها پیش این مسئله را حل کرده است:

خدایا، آرامشی عطا کن تا بپذیرم چیزهایی را که نمی‌توانم تغییر دهم،

شهامتی تا تغییر دهم چیزهایی را که می‌توانم،

و خردی تا تفاوت این دو را بدانم.

از نظر عملی، ما ناگزیر همراه این سواری هستیم. این دربارهٔ همه صدق نمی‌کند. برخی افراد می‌توانند در سیاست‌گذاری عمومی یا ایمنی هوش مصنوعی کار کنند. اگر می‌توانید کمک مالی کنید. جوهره‌تان را از آن‌ها دریغ کنید… یا بهتر بگویم، داده‌هایتان را. و عمیقاً فکر کنید که می‌خواهید رابطه‌تان با هوش مصنوعیِ غیرکشنده‌ای که تبلیغات شخصی‌سازی‌شده عرضه می‌کند و می‌کوشد شما را اغوا کند، چگونه باشد. اما از پا درآمدن از شدت نگرانی هزینه دارد و من راهی برای خروج از مسابقهٔ تسلیحاتی هوش مصنوعی نمی‌بینم. با توجه به فایدهٔ هوش مصنوعی، شرکت‌ها و کشورها انگیزهٔ بسیار زیادی برای پیش‌بردن آن دارند و هماهنگ‌کردن کاهش سرعت پژوهش دشوار است. دولت‌ها دهه‌هاست خطر هسته‌ای را مدیریت کرده‌اند، اما مدیریت خطر هوش مصنوعی دشوارتر است، چون معلوم نیست اصلاً خطر هست یا نه، یا این‌که رقبا بر سر آن توافق دارند یا خیر. همهٔ این‌ها در حالی است که ادامهٔ توسعه، منافع مالی و نظامی عظیمی دارد.

در کمال شگفتی، همهٔ این‌ها مرا به موضع سیاستی هینتون می‌رساند: الزام شرکت‌های هوش مصنوعی به اختصاص درصدی از توان محاسباتی خود به ایمنی هوش مصنوعی³. مطمئن نیستم با توجه به این‌که او فکر می‌کند چت‌بات‌ها احساس دارند، چگونه به توافق رسیدیم. همان چت‌بات‌هایی که فناوری بزرگ میلیاردها نسخه از آن‌ها را احضار می‌کند (به بردگی می‌گیرد؟) و ظاهراً در مسیر برخوردی مرگبار با آن‌ها هستیم. به نظر می‌رسد این مسیر به جهاد باتلری نزدیک‌تر باشد، اما گمان می‌کنم این بازیِ جوان‌هاست.