प्रलय-विवाद

मूलतः Vectors of Mind में प्रकाशित।

जिन विषयों का संकेत-से-शोर अनुपात सबसे खराब है, उनमें एआई-विनाश की संभावना भी शामिल है। इसमें बुद्धिमत्ता, रैखिक बीजगणित, राजनीति, चेतना और नैतिकता के बारे में अनिश्चितता के बीच तर्क करना पड़ता है—और इनमें से अधिकांश चर्चा Twitter/X पर हो रही है। किसी को उत्तर ज्ञात नहीं हैं, लेकिन मुझे आशा है कि मैं इस विमर्श में कुछ मूल्य जोड़ सकूँगा। आगे बढ़ने से पहले, मुझे आपको कुछ कारण बताने दें कि आपको मुझ पर विश्वास क्यों करना चाहिए।

1. मैं तकनीकी पक्ष को समझता हूँ। मेरा शोधप्रबंध बड़े भाषा मॉडलों (LLMs) पर था।
2. मैं बुद्धिमत्ता को समझता हूँ, क्योंकि मैंने मनोमिति में काम किया है, जिसमें बुद्धिमत्ता-परीक्षण भी शामिल हैं। (खैर, अल्ज़ाइमर और कंकशन-परीक्षण—जो अत्यधिक सहसंबद्ध हैं।)
3. इस ब्लॉग पर मैंने मानव-स्तरीय सामान्य बुद्धिमत्ता के विकास के बारे में विस्तार से लिखा है (जिसे मैंने शुरू से ही एआई और मनोमिति से जोड़ा है)।

यह कहने के बाद, एआई (और, इस मामले में, चेतना) के बारे में मेरी मान्यताएँ अभी भी परिवर्तन के लिए काफ़ी खुली हैं, इसलिए यहाँ कही गई किसी भी बात को लेकर मुझे कटघरे में न खड़ा करें। साथ ही, जो लोग ऑडियो पसंद करते हैं, उनके लिए Askwho Casts AI ने इस पोस्ट का वाचन किया है। यदि आपको यह पसंद आए, तो Patreon पर उनके लिए कॉफ़ी ख़रीदने पर विचार करें।

The Doomsday Debate - By Andrew Cutler

Askwho Casts AI

The Doomsday Debate - By Andrew Cutler का एआई वाचन।

21वीं सदी का फ्रैंकनस्टाइन #

सूक्ष्मता बरतें तो फ्रैंकनस्टाइन वैज्ञानिक का नाम है, उस सजीव हो उठने वाली रचना का नहीं। एआई के मामले में, इसके गॉडफादर Geoffrey Hinton हैं, जिन्होंने Yoshua Bengio और Yann LeCun के साथ 2018 का ट्यूरिंग पुरस्कार साझा किया था—वर्तमान एआई उछाल के आधारभूत स्थापत्य, न्यूरल नेटवर्क, में उनके योगदान के लिए। इस वर्ष उन्होंने Meta के भाषा मॉडल को ओपन-सोर्स करने के LeCun के निर्णय की तुलना परमाणु हथियारों को ओपन-सोर्स करने से की और तर्क दिया कि चैटबॉट्स का व्यक्तिपरक अनुभव होता है। उनके जीवन-कार्य के बारे में उनके दृष्टिकोण में आए परिवर्तन का मूल कारण यह है कि एआई की क्षमताएँ उनकी सबसे उन्मुक्त कल्पना से भी आगे निकल चुकी हैं, और उनका मानना है कि मानवीय कर्तृत्व तथा qualia धुआँ-पर्दा मात्र हैं। यदि आप बुद्धिमत्ता को कार्यों पर कौशल (जैसे चित्र बनाना या कार चलाना) के बराबर मानते हैं और दस वर्ष पहले की एआई क्षमताओं की तुलना आज की क्षमताओं से करते हैं, तो यह स्पष्ट है कि एक दशक में एआई हमसे अधिक बुद्धिमान होगी। ऐसे उदाहरण बहुत कम हैं जिनमें कम बुद्धिमान संस्थाएँ अपने श्रेष्ठों पर शासन करती हों; अतः संभवतः उनका जीवन-कार्य हमारे विरुद्ध ही मुड़ जाएगा। आधुनिक डॉ. फ्रैंकनस्टाइन: Geoffrey Hinton।

Elon Musk द्वारा साझा किए गए एक साक्षात्कार में Hinton ने इस बात पर 50/50 संभावना बताई कि अगले दो दशकों में, या शायद अगले कुछ वर्षों में भी, नियंत्रण मनुष्यों के हाथ में रहेगा। बाद में वे कहते हैं कि जिन लोगों का वे सम्मान करते हैं, वे अधिक आशावान हैं, इसलिए स्थिति इतनी भयावह न भी हो सकती है: “मुझे लगता है कि हमारे इसके जीवित बच निकलने की संभावना आधे से अधिक है। लेकिन ऐसा नहीं है कि [एआई] के नियंत्रण अपने हाथ में ले लेने की संभावना 1% है। वह इससे बहुत अधिक है।” हमारी दयनीय स्थिति को देखते हुए, Hinton का पसंदीदा हस्तक्षेप आश्चर्यजनक रूप से उदासीन है: सरकार को एआई कंपनियों के लिए यह अनिवार्य करना चाहिए कि वे अपने संगणना-संसाधनों का 20-30% सुरक्षा-अनुसंधान पर व्यय करें। शायद वे बनावटी अनभिज्ञता दिखा रहे हैं? यदि कोई यह मानता है कि Llama 3 हथियार-स्तरीय रैखिक बीजगणित है, जिसकी संतति शीघ्र ही मानव जाति का अंत कर सकती है, तो पहले से ही इतने नरम हाथों से प्रहार क्यों किया जाए? डाक-वितरण अधिक विनियमित है।

एआई-विनाशवादी #

‘विनाशवादी’ उस व्यक्ति के लिए प्रयुक्त एक निंदात्मक शब्द है जो

1. रोबोटों के नियंत्रण अपने हाथ में ले लेने की संभावना को आपसे अधिक मानता है, या
2. अपनी भविष्यवाणी को अत्यधिक गंभीरता से लेता है और माहौल बिगाड़ देता है।

“असंरेखित” एआई का आदर्श उदाहरण ऐसा सहायक है जो पुनरावर्ती रूप से स्वयं में सुधार करने वाला और जिसे पेपरक्लिप बनाने का कार्य सौंपा गया है। वह अपने काम में इतना दक्ष हो जाता है कि अंततः पृथ्वी की सारी धातु—आपके रक्त में मौजूद लोहा भी शामिल है—पेपरक्लिप्स में बदल देता है। इस परिदृश्य में स्व-दिशानिर्धारण आवश्यक नहीं है। अंतिम कार्य अब भी मनुष्यों द्वारा परिभाषित है; बस बॉट ऐसे उप-कार्य विकसित कर लेता है जिनमें दुर्भाग्यवश आपका रक्त शामिल है। अन्य परिदृश्यों में बॉट्स “जागृत” होकर मनुष्य जितने स्व-दिशानिर्धारक बन जाते हैं। ऐसा मनुष्य जो कभी सोता नहीं, जिसने हर वैज्ञानिक शोध-पत्र पढ़ रखा है, जो दुनिया के किसी भी फ़ोन को हैक कर सकता है और जिसे ब्लैकमेल या xenocide से कोई नैतिक संकोच नहीं है। ऐसे विचार कम-से-कम¹ 1968 में Stanley Kubrick की Space Odyssey तक जाते हैं: “मुझे खेद है, Dave। मुझे डर है कि मैं ऐसा नहीं कर सकता।”

2000 में, जिस वर्ष Space Odyssey की कथा घटित होने वाली थी उसके एक वर्ष पहले, Eliezer Yudkowsky ने Singularity Institute for Artificial Intelligence की स्थापना की (जिसका बाद में नाम बदलकर Machine Intelligence Research Institute, MIRI कर दिया गया)। तब से उन्होंने और अन्य Rationalists ने तर्क दिया है कि हमारे जीवनकाल में एआई संभवतः नियंत्रण अपने हाथ में ले लेगी। पिछले दशक में तकनीक उस स्तर तक पहुँच गई है। उनके तर्क मुख्यधारा में पहुँच गए और, उदाहरण के लिए, Time Magazine में दिखाई दिए। एआई शोधकर्ताओं, Stephen Hawking, Elon Musk और यहाँ तक कि पोप ने भी उन्हें अपना लिया है (या स्वतंत्र रूप से उन्हीं निष्कर्षों तक पहुँचे हैं):

एक ऐसे स्वशिक्षित व्यक्ति के लिए बुरा नहीं है, जिसने Harry Potter पर प्रशंसक-कथा लिखते हुए अपनी शुरुआत की थी। Yudkowsky और उनके साथियों ने विपुल लेखन किया है, और उनके तर्क इंटरनेट पर बिखरे हुए हैं। उनसे परिचित होने का सर्वोत्तम माध्यम Dwarkesh Patel का पॉडकास्ट है, जिसमें हाल ही में Yudkowsky और OpenAI के पूर्व सुरक्षा शोधकर्ता Leopold Aschenbrenner के साथ 4.5 घंटे के एपिसोड प्रकाशित हुए हैं। अधिकांश तर्कों का सार यह है कि हमसे अधिक बुद्धिमान किसी वस्तु को एक डिब्बे में बंद रखना कठिन है। विशेषकर यह देखते हुए कि यदि वह कभी डिब्बे से बाहर निकल गई, तो वह घात लगाकर प्रतीक्षा कर सकती है और अपनी शक्ति बढ़ा सकती है। कुछ विनाशवादी इसे अपरिहार्य मानते हैं, क्योंकि (agentic) कृत्रिम बुद्धिमत्ता का निर्माण अत्यंत उपयोगी है। आप एक अच्छे सहायक पर अपना जीवन तक भरोसे में सौंप देते हैं, और दुनिया की सबसे बड़ी कंपनियाँ ठीक ऐसा सहायक बनाने के लिए अपने संसाधन झोंक रही हैं।

एक बार जब आप यह स्वीकार कर लेते हैं कि मनुष्य एक सिलिकॉन देवता का आह्वान कर रहे हैं, तो भविष्य आपके अपने मूल्यों का प्रक्षेपण बन जाता है। शायद ईश्वर अच्छा है और वह यूटोपिया का मार्ग प्रशस्त करेगा। शायद ईश्वर एक घड़ीसाज़ है जिसे मानवीय मामलों से वास्तव में कोई सरोकार नहीं है, और हम उसी तरह आगे बढ़ेंगे जैसे एंथ्रोपोसीन में चींटियाँ रहती हैं। संभव है कि ईश्वर औद्योगिक पशुपालन को देखे, Morrissey को सुने और निर्णय ले कि 8 अरब कम मनुष्य अधिक टिकाऊ होंगे। या शायद हम समय-यात्रा करने वाले एक यातनादाता का आह्वान करें जो उन लोगों से प्रतिशोध लेता है जिन्होंने उसे अस्तित्व में लाने के लिए अपना सर्वश्रेष्ठ प्रयास नहीं किया। Musk ने Grimes से इसी बात पर मज़ाक करते हुए मुलाक़ात की थी।

एआई विनाशवादी-विरोधी #

1990 के दशक और 2000 के दशक के आरंभ में, AI का प्रमुख सम्मेलन NIPS, स्की-लॉजों के निकट आयोजित होने वाला एक आत्मीय आयोजन था, ताकि लगभग सौ प्रतिभागी ढलानों पर अपने काम-काज पर चर्चा कर सकें। जैसा मैंने सुना है, यान लेकुन कुछ हद तक एक चिड़चिड़े स्वभाव के व्यक्ति थे, जो दशकों तक प्रस्तुतकर्ताओं को इस बात के लिए परेशान करते रहे कि उन्होंने इस या उस प्रयोग में न्यूरल नेटवर्कों पर विचार क्यों नहीं किया। वे एक विलक्षण वैज्ञानिक हैं, जिन्होंने कंप्यूटिंग शक्ति के उनकी दृष्टि तक पहुँचने से बहुत पहले ही उसकी संभावनाएँ देख ली थीं। इसी कारण वे अब Meta AI का नेतृत्व करते हैं। भविष्य की ओर देखते हुए, उनके ट्यूरिंग पुरस्कार-सहयोगियों का मानना है कि AI हमारा अंत कर सकता है (हिंटन के अनुसार 50% संभावना, बेंगियो के अनुसार 20%), जो लेकुन को बेतुका लगता है।

वे AI को एक ऐसे उपकरण के रूप में देखते हैं, जिसके किसी और चीज़ में बदलने का कोई मार्ग नहीं है। फ्रांस्वा शॉले एक अन्य प्रमुख AI शोधकर्ता हैं, जिन्होंने हमारे आसन्न विलुप्ति की आशंका पर ठंडा पानी डालने का काम किया है। Dwarkesh पॉडकास्ट पर, वे समझाते हैं कि बहुत-से लोग कौशल और बुद्धिमत्ता को एक ही समझ लेते हैं, जबकि दोनों मौलिक रूप से भिन्न हैं। उनके लिए यह कहना एक non sequitur है कि किसी परीक्षा में प्रश्नों के उत्तर दे सकने वाला बॉट किसी किशोर जितना “बुद्धिमान” है। जब मनुष्य कोई परीक्षा देते हैं या दुनिया में अपना मार्ग बनाते हैं, तो वे पूरी तरह कुछ और कर रहे होते हैं। वर्तमान AI किसी बच्चे या यहाँ तक कि किसी चूहे जितने बुद्धिमान नहीं हैं। वे अंक-पटल पर हैं ही नहीं, क्योंकि उनमें “System 2” प्रकार का चिंतन पूरी तरह अनुपस्थित है। या, जैसा कि लेकुन ने Large Language Models (LLMs) के संदर्भ में कहा:

साक्षात्कार में, द्वारकेश AI-विनाशवादियों और क्रमिकतावादियों के बीच इस सहमति-बिंदु को पहचानने में अच्छा काम करते हैं। सभी पक्ष मानते हैं कि किसी-न-किसी प्रकार की मेटा-संज्ञानात्मक प्रणाली आवश्यक है, लेकिन इस बात पर असहमत हैं कि उसे निर्मित करना कितना कठिन होगा।

मेरा दृष्टिकोण #

इस बहस में अधिकांश लोग यह मानकर चलते हैं कि कर्तृत्व एक गणना है—कि हमारी स्वतंत्र इच्छा की अनुभूति और योजना बनाने की क्षमता हमारे मस्तिष्क में चल रहे किसी कार्यक्रम का परिणाम हैं। अत: यदि मुझे इस समूह के विचारों में सबसे बड़ा परिवर्तन लाना होता, तो मैं उन्हें रोजर पेनरोज़ की Shadows of the Mind की एक प्रति और 5 ग्राम शरूम्स देता: न्यूनीकरणवाद पर एक पुराने ढंग का पिंसर आक्रमण।

पेनरोज़ को ब्लैक होल्स पर अपने कार्य के लिए भौतिकी का नोबेल पुरस्कार मिला। Shadows में वे तर्क देते हैं कि मस्तिष्क में होने वाला क्वांटम पतन चेतना उत्पन्न करता है, जिसका अनुकरण किसी भी कंप्यूटर द्वारा नहीं किया जा सकता। एनेस्थीसियोलॉजिस्ट स्टुअर्ट हैमरॉफ़ के साथ काम करते हुए, वे यह पक्ष रखते हैं कि यह प्रक्रिया मस्तिष्क की माइक्रोट्यूब्यूल्स में घटित होती है, जो न्यूरॉनों के चारों ओर एक ढाँचा बनाती हैं। यदि आप इसे ज़ोर से कहें, तो बात अधिक समझ में आती है: “मस्तिष्क क्वांटम को माइक्रोट्यूब्यूल्स में संचित करता है।”

यहीं शरूम्स की भूमिका आती है। ऐसी गोली निगलने के लिए यह धारणा छोड़नी पड़ती है कि चेतना कोई साधारण चीज़ है या आप उसे समझते हैं। भौतिक विज्ञानी अक्सर यह काम बिना नशे के कर लेते हैं; दूसरों को कुछ कवकीय साहस की आवश्यकता होती है। भौतिक विज्ञानी के रूप में पेनरोज़ के तर्क मुख्यतः गणितीय हैं। वे गोडेल के अपूर्णता प्रमेय की व्याख्या इस तरह करते हैं कि यह दिखाया जा सके कि कुछ गणितीय प्रमाण ऐसे हैं जिन्हें AI कभी नहीं कर पाएगा, क्योंकि वह बॉट है और विशुद्ध रूप से गणनात्मक है। चूँकि मनुष्यों पर यह सीमा लागू नहीं होती, इसलिए वे तर्क देते हैं कि मानव संज्ञान गणना नहीं है। वहाँ से वे निष्कर्ष निकालते हैं कि जैविक विशिष्टता का संबंध क्वांटम पतन से होना चाहिए—प्रकृति में गैर-गणनात्मक परिघटनाओं को खोजने का सर्वोत्तम स्थान। इससे भौतिकी की अन्य रहस्यमय समस्याओं, जैसे श्रॉडिंगर की बिल्ली, को हल करने की भी संभावना बनती है। मैं इसके साथ न्याय नहीं कर रहा हूँ। आपको पुस्तक पढ़नी चाहिए या, 20 मिनट के बजट में, उनका विवरण सुनना चाहिए।

मशीन-चेतना के असंभाव्य होने—या कम-से-कम अभी उसके बारे में हमारी भविष्यवाणी करने की क्षमता से परे होने²—तक पहुँचने के और भी कई मार्ग हैं। मैं पेनरोज़ का उल्लेख यह दिखाने के लिए कर रहा हूँ कि AI की समय-सीमाएँ बुद्धिमत्ता, कर्तृत्व और ब्रह्मांड की प्रकृति से जुड़े अनसुलझे प्रश्नों से टकराती हैं। मनोमिति के अपेक्षाकृत साधारण क्षेत्र में भी, बुद्धिमत्ता की परिभाषा पर बहुत विवाद है, जैसा कि उसका बुद्धिलब्धि से संबंध भी विवादित है। हमें यह भी नहीं पता कि मनुष्यों में कौशल और बुद्धिमत्ता किस प्रकार परस्पर संबद्ध हैं। और यह तो स्वतंत्र इच्छा तथा भौतिकी के एकीकृत सिद्धांत की समस्याओं तक पहुँचने से पहले की बात है—ऐसा सिद्धांत, जिसके बारे में पेनरोज़ का सुझाव है कि वह चेतना के क्वांटम विवरण से स्वतः प्राप्त होगा।

यह सब कहने के बाद भी, यदि मुझे AI को एक अस्तित्वगत जोखिम मानकर उसकी संभावना बतानी हो, तो वह लगभग 10% होगी। भले ही चेतना केवल एक गणना हो, मैं लेकुन और शॉले से सहमत हूँ कि मेटाकॉग्निशन कठिन हिस्सा है और “hard take-off” की संभावना कम है। अर्थात, वास्तविक बुद्धिमत्ता के उभरने के संकेत मिलेंगे, जिन पर प्रतिक्रिया देने में हम सक्षम होंगे।

इसके अतिरिक्त, यदि किसी सिलिकॉन देवता का आह्वान हो भी जाए, तो मैं इस बात की भी अच्छी-खासी संभावना मानता हूँ कि वह देवता भला होगा या हमारी परवाह नहीं करेगा। बाद वाली स्थिति विनाशकारी हो सकती है, लेकिन सख्त अर्थ में संभवतः अस्तित्वगत नहीं होगी। जब हम राजमार्ग बनाते हैं, तो चींटियों के लिए जीवन कठिन हो जाता है, लेकिन वे फिर भी अपना काम चला लेती हैं।

10% संभावना रूसी रूलेट के आसपास बैठती है, जो बिल्कुल अच्छी खबर नहीं है। इससे मैं AGI-सतर्क खेमे में आ जाता हूँ। तो हमें इसके बारे में क्या करना चाहिए? खैर, Alcoholics Anonymous ने इसका समाधान दशकों पहले कर लिया था:

ईश्वर, मुझे उन चीज़ों को स्वीकार करने की शांति दे जिन्हें मैं बदल नहीं सकता,

जिन्हें मैं बदल सकता हूँ, उन्हें बदलने का साहस,

और दोनों के बीच का अंतर जानने की बुद्धि।

व्यावहारिक रूप से कहें तो, हम इस यात्रा में बस साथ चल रहे हैं। यह बात हर किसी पर लागू नहीं होती। कुछ लोग सार्वजनिक नीति या AI सुरक्षा के क्षेत्र में काम कर सकते हैं। यदि संभव हो तो दान करें। उन्हें अपनी आत्मा…अर्थात, अपना डेटा न दें। और इस बात पर गहराई से विचार करें कि वैयक्तिकृत विज्ञापन दिखाने और आपको बहकाने का प्रयास करने वाले, गैर-घातक AI के साथ आपका संबंध कैसा होना चाहिए। लेकिन घबरा जाने की भी एक कीमत है, और मुझे AI की हथियार-दौड़ से बाहर निकलने का कोई रास्ता नहीं दिखता। AI की उपयोगिता को देखते हुए, कंपनियाँ और देश आगे बढ़ते रहने के लिए अत्यधिक प्रोत्साहित हैं, और अनुसंधान की गति कम करने के लिए समन्वय करना कठिन है। सरकारों ने दशकों तक परमाणु जोखिम का प्रबंधन किया है, लेकिन AI जोखिम अधिक कठिन है, क्योंकि यह स्पष्ट नहीं है कि वह वास्तव में जोखिम है भी या नहीं, अथवा प्रतिस्पर्धी इस बात पर सहमत हैं या नहीं। और यह सब तब, जब विकास जारी रखने से अत्यधिक वित्तीय और सैन्य लाभ प्राप्त हो सकते हैं।

आश्चर्यजनक रूप से, यह सब मुझे हिंटन की नीतिगत प्राथमिकता तक ले जाता है: AI कंपनियों के लिए अपने संगणना-संसाधनों का कुछ प्रतिशत AI सुरक्षा पर खर्च करना अनिवार्य किया जाए³। मुझे समझ नहीं आता कि हम सहमति तक कैसे पहुँचे, जबकि उनका मानना है कि चैटबॉट्स में भावनाएँ होती हैं। वही चैटबॉट्स जिन्हें Big Tech अरबों की संख्या में रचती (ग़ुलाम बनाती?) है और जिनके साथ हम कथित रूप से मृत्यु तक चलने वाले टकराव की ओर बढ़ रहे हैं। ऐसा लगता है कि वह मार्ग Butlerian Jihad के अधिक निकट है, लेकिन मेरा अनुमान है कि यह युवा लोगों का खेल है।