奇點臨近：福音還是噩耗——人工智能可能帶來的最大挑戰(zhàn)

我們有理由說，人工智能將帶來的最大挑戰(zhàn)，還是將超越人類智能的超級智能的可能出現(xiàn)。無論樂觀者還是悲觀者，有一點是共同的：都認為這可能是人類發(fā)展到今天的一個最重大事件，相對于其他問題來說，這一定是一個人類將遇到的最重大的問題。本文原載《探索與爭鳴》2018年第11期。

電影《2001太空漫游》劇照

一

“奇點（singularity）”的概念本身就讓普通讀者感覺奇怪，難以捉摸，它有數(shù)學(xué)、天文學(xué)上的多種含義，我這里自然主要是在人工智能的范圍內(nèi)使用。簡要地說，“奇點”就是指機器智能超過人類智能的那一刻，或者說智能爆炸、人工智能超越初始制造它的主人的智能的那一刻。

稍稍回顧一下歷史。據(jù)說，1958年，被譽為“計算機之父”“博弈論之父”的約翰·馮·伊諾曼在和數(shù)學(xué)家烏拉姆談?wù)摷夹g(shù)變化時使用了“奇點”一詞?？茖W(xué)家同時也是科幻作家的文奇則是第一個在人工智能領(lǐng)域內(nèi)正式場合使用“奇點”一詞的人，1993年，他受邀在美國航空航天局做了一場題為“即將到來的技術(shù)奇點”的演講， 他在這篇演講中引用了1965年古德在一篇題為“對第一臺超級智能機器的一些推測”的論文中的話。

古德是第二次世界大戰(zhàn)期間圖靈密碼破譯小組的首席統(tǒng)計師兼數(shù)學(xué)家，他有段著名的話：“一臺超級智能機器可以定義為是一臺在所有智能活動上都遠超人類——不管人有多聰明——的機器。由于機器設(shè)計屬于這些智能活動的一種，那么一臺超級智能機器當(dāng)然能夠設(shè)計更出色的機器，那么毫無疑問會出現(xiàn)一場‘智能爆炸’，把人的智力遠遠拋在后面。因此，第一臺超級智能機器也就成為人類做出的最后的發(fā)明了——前提是這臺機器足夠聽話且愿意告訴我們怎樣控制它?！?/p>

我們在這些文字中可以看到，古德雖然談到了人類“最后的發(fā)明”，但并沒有充分感到這是對人類的巨大威脅。他在上世紀中葉人工智能尚未充分發(fā)展的情況下，大概覺得這一超級智能還是能夠聽從人的指揮，只是人發(fā)明出它之后，無需再發(fā)明什么了，有更聰明的機器會代替人去發(fā)明。這實際意味著，不是一部分人，甚至也不是大多數(shù)人將變成“無用階級”（借助現(xiàn)在流行的一個說法），而是所有的人，是全人類都將變成“無用的人”，人也許只需享受那超級智能帶來的好處就行了，人類將從一個“超級物種”變?yōu)橐粋€“無用的物種”。但是，他沒有深思，這比人更聰明、更有控制物的力量的超級智能機器，怎么還會繼續(xù)服服貼貼地充當(dāng)人類的仆人？當(dāng)然，在他的時代，這一“智能爆炸”還似乎是比較遙遠的事情。

文奇應(yīng)該說是比較悲觀的。他在演講中引用了古德有關(guān)“智能爆炸”的這段話，并評論說：“古德抓住了這一超越人類事件的本質(zhì)，但卻未深究其讓人不安的后果。他描述的那種機器，絕不會是人類的‘工具’——正像人類不會是兔子、禽鳥甚或黑猩猩的工具?！?但據(jù)后來看到了1998年古德82歲時寫的一份以第三人稱敘述、并沒有宣讀的自傳手稿的巴拉特說，古德晚年還是意識到了這一“智能爆炸”的危險后果。在上述論文的開頭，古德曾經(jīng)這樣寫到：“人類的生存依賴于一臺超級智能機器的初期構(gòu)建”，而到他晚年的這份自傳中他已經(jīng)意識到了這一后果，他說：“如今，他懷疑‘生存’這個詞應(yīng)該換成‘滅絕’。他認為，國家之間的激烈競爭使得人們無法組織機器接管世界，我們是前仆后繼奔向懸崖的旅鼠?！?庫茲威爾則看來是一個樂觀者。庫茲威爾在1989年寫的《精神機器的時代：當(dāng)計算機超越人的智能》一書，也已經(jīng)預(yù)測了這一總的前景，且其中的不少具體預(yù)測后來得到了證實。而在他2005年出版的《奇點臨近：當(dāng)人類超越生物學(xué)》一書中，我們還可以看到他試圖積極地應(yīng)對這一變化，即通過結(jié)合基因技術(shù)、納米技術(shù)和機器智能技術(shù)（即他所稱的GNR）,讓人擺脫碳基生物的限制，而仍然能夠把控這一切。當(dāng)然，對“人類”的定義也就將重新詮釋。

無論樂觀者還是悲觀者，都強調(diào)這種從人的智能向超級機器智能轉(zhuǎn)換的速度，不是一般的加速度，而是一種指數(shù)的加速度，即人工智能發(fā)展的速度曲線將一下變得陡直，或者通俗地說，智能在奇點臨近的那一刻將開始發(fā)生“爆炸性”的進展，它將突然一下就超過人。

此前我們?nèi)祟愔悄茉趶霓r(nóng)業(yè)文明到工業(yè)文明以及從工業(yè)技術(shù)到高科技技術(shù)的發(fā)展速度，也是一種不斷提速的加速度，但還不是一種指數(shù)的速度，人工智能的發(fā)展卻可能以一種不斷相乘的指數(shù)的加速度發(fā)展。庫茲威爾甚至預(yù)言，在2045年的時候，計算機的智能就將超越人的智能。巴拉特在最近的一次通用人工智能（AGI）大會上，對參會的大約200名計算機科學(xué)家做了一個非正式的調(diào)查：“你認為什么時候能夠?qū)崿F(xiàn)通用人工智能？”并給了四個選項。最后，42%的人預(yù)期AGI在2030年實現(xiàn)，25%選擇2050年，20%選擇2100年，2%選擇永遠無法實現(xiàn)。而如果接受指數(shù)速度的觀點，那么，從通用人工智能發(fā)展成超級人工智能（ASI, artificial super intelligence）或者說越過“奇點”也是很快的事。換言之，這一“奇點”來臨的路徑如果從智能本身的觀點看大致是：專門智能—通用智能（AGI）—超級智能(ASI)；或者從能力的強弱看：弱智能—強智能—超強智能；而如果從人機關(guān)系看大概是：人工智能—類人智能—超人智能。

牛津大學(xué)未來研究院院長尼克·波斯特洛姆所說的“超級智能”（superintellgence）比較廣義，他將其定義為在幾乎所有的領(lǐng)域都超過現(xiàn)在人類的認知能力的那種智能。這樣，他認為有五種技術(shù)路徑達到他所稱的這種“超級智能”： 人工智能、全腦仿真、生物認知、人機交互及網(wǎng)絡(luò)和組織。其中，人工智能就是人造的機器通過不斷的自我學(xué)習(xí)、自我改良、尋找更優(yōu)的算法，來處理和解決認知和控物問題。它不需要模仿人類的心智。全腦仿真則是通過掃描人的大腦，將掃描得到的原始數(shù)據(jù)輸入計算機，然后在一個足夠強大的計算機系統(tǒng)中輸出神經(jīng)計算結(jié)構(gòu)。生物認知就是通過發(fā)明和服用各種可以提高人的智力甚至品性的藥物，通過基因的改善和選擇等手段來提高生物大腦的功能。人機交互就是讓人腦和機器直接連接，讓人腦可以直接運用機器的完美記憶、高速運算能力等，將兩者的優(yōu)點結(jié)合起來。網(wǎng)絡(luò)和組織就是通過建立一個可以讓眾多人腦和機器自動相互連接的網(wǎng)絡(luò)和組織，達到一種“集體的超級智能”。最后一種可以看作是一種擴展，其中人機關(guān)系孰主孰次不甚明朗，我們在討論這個問題時或可忽略不計。

在剩下的四種路徑中，生物認知可以說是保持人的基本屬性不變，運用GNR等高科技來提升人的能力，但是有在第二次世界大戰(zhàn)后變得臭名昭著的“優(yōu)生”之嫌。人機交互已經(jīng)擁有機器的成分被植入大腦或者說在生物學(xué)上聯(lián)結(jié)在一起，甚至可以說是“半人”的，但人至少在開始還是在其中占據(jù)主體意識和主導(dǎo)行為的地位。像馬斯克反對人工智能，但卻資助對腦機結(jié)合的研究，他也希望通過像“火星殖民”的計劃，準(zhǔn)備在萬一地球上的人類發(fā)生大難時還可保留一些人類的種子。全腦仿真和波斯特洛姆所說的“人工智能”其實可以說都是機器智能，只是在是否模仿人腦的生理和思維方式方面有差別。而在波斯特洛姆所說的五種路徑中，他認為大概能夠最快地達到超級智能的還是第一種。

庫茲威爾更強調(diào)人機融合，而且不畏懼人最后變成機器或者說硅基生物。他對未來似乎信心滿滿，甚至談到智能將擴及和彌漫于宇宙，但語焉不詳。他的路徑似也可看作是人類對機器的智能超過自己的一種應(yīng)對之策，但辦法是不妨讓我們也變成機器。不管我們將變成什么，但在智能上至少可以與機器匹敵。這也是一種努力，為了對抗機器，那么讓我們也變成機器；為了對抗硅基物，那么讓我們也變成硅基物。他對我們將失去什么并沒有深切的關(guān)注和思考。但我們的確得佩服他的預(yù)見性，他在20世紀90年代就預(yù)見了人工智能在21世紀的長足發(fā)展的許多方面，也是他對智能“奇點”的概念做了最多和相對通俗的闡述，使這個概念廣為人知。

怎樣判斷“奇點”來到的這一刻，即所謂“機智過人”的那一刻？或者說，超過人的智能的是一臺機器還是眾多機器？是“它”還是“它們”？是一臺統(tǒng)一通用的控制機器還是一群通用機器——比如說“全世界的機器人聯(lián)合起來”？坦率地說，我們那時可能不僅無法駕馭，甚至可能都無法判斷。那時再說“機器人”或者“人工”或“人造”，也都可能不合適了。我們將不再擁有命名權(quán)而是可能被命名，甚至名實俱無。

二

普通人對于人工智能迅速發(fā)展的反應(yīng)，往往是集中在一些令人矚目的事件上，比如阿爾法狗戰(zhàn)勝世界頂級圍棋冠軍、機器人在電視亮相和“巧妙應(yīng)對”等，人們的態(tài)度是好奇甚或驚奇，對人工智能將可能替代許多工作和職業(yè)或也有一些考慮，但像無人駕駛這樣的事情畢竟還是處在試驗階段，還沒有引起真正的焦慮。至于“奇點臨近”的問題，也多是一般的關(guān)注，可能也覺得這還是比較遙遠的事情，或者相信人類以前也碰到過許多嚴重的問題，但都被解決了，“還是人有辦法”。

我們還可以發(fā)現(xiàn)一些人對人工智能崛起的莫名期待，比如希望它為全民共享、世界大同或者全球民主、人人充分自由或者可以充分釋放自己的欲望創(chuàng)造物質(zhì)的和社會的條件，而究其源，可能只是出于一種對現(xiàn)狀的不滿，甚至覺得不管發(fā)生什么，總會比現(xiàn)狀好，而對究竟會發(fā)生什么的細節(jié)卻不甚深究。這甚至可以說是一種對不確定性的期待。

比較極端的兩種反應(yīng)，一種是高度樂觀，甚至覺得人類將進入一個無比美好的新紀元，人工智能將為全民共享，甚至為滿足人們的所有欲望提供充裕的物質(zhì)基礎(chǔ)。還有一種反應(yīng)則是非常悲觀，覺得人類的毀滅甚至就是在近期的毀滅將不可避免，末世將要來臨。而這兩極也可能相通，一些人甚至可能認為即便人類轉(zhuǎn)型成硅基生物也是好事，那將為人的“物質(zhì)體”乃至極樂和永生、為“新的物種”開辟道路。而另一些人則可能對人類的這種極樂和永生嗤之以鼻，甚至認為即便是人類毀滅也比這好，也是一種“福音”來臨，當(dāng)然，不是塵世的福音，而是另一種“永恒”的福音。人類糟透了，被毀滅也毫不足惜。就像所多瑪城。但這次不會再有幸存者，不會再有諾亞方舟。所以，某種徹底的悲觀也可以說是徹底的樂觀，反之亦然。

如果我們力求使問題尖銳化，假設(shè)人工智能的技術(shù)“奇點”真的來到，那是福音還是噩耗？具體說來，大概會有這樣兩種很不一樣的回答：

一種回答是：它是福音，是塵世的福音，是我們世俗的人的福音。首先，在它來到之前，它將使我們的生活越來越舒適，越來越方便。我們將吃驚于人類越來越多的技術(shù)發(fā)明和創(chuàng)新。其次，即便在它到來之后，我們也許還能控制它們，我們不用太多勞作也能過很好的物質(zhì)生活，或許就像《未來簡史》的作者赫拉利所說，人類將致力于長生不老和更加持久和強烈的快樂體驗，機器還能聽我們的話，做我們的忠實仆人。它只是在物質(zhì)上為我們服務(wù)，我們將獲得許多的閑暇，像樂園里的人一樣生活。人類終于可以有物質(zhì)財富的極大涌流，完全不擔(dān)心衣食住行，所有人都可以按需分配，也就達到了一種完全的、實質(zhì)性的平等。大同社會終于有望實現(xiàn)，它的物質(zhì)基礎(chǔ)牢不可破。我們甚至還可以隨時“死去”，又隨時復(fù)活。我們有辦法將自己的身體“冷凍”起來，選擇在未來適當(dāng)?shù)臅r候重新“活”過來。我們甚至不再需要自己的身體，我們不僅可以不斷更換自己的身體器官，最后索性就將自己的肉體換成金屬或新的永不腐蝕和毀壞的軀體，我們可以以這樣的鋼鐵般的“硅晶軀體”永遠地“活著”，或者定期維修。我們將不再害怕風(fēng)餐露宿，不害怕在任何極端條件下生存，也可以開始在宇宙空間里的“長征”，能夠在任何星球上生存。我們可以將自己擴大成巨人，也可以縮小到無形。我們在擺脫空間的約束的同時，也使時間對我們失去意義。我們或許還可以將我們個人獨特的“人生”記憶完整地保存，隱退或者說冬眠一段時間，再以自己想要的形式重新“活著”出來。當(dāng)然，原有的自然關(guān)系、人倫和情感關(guān)系都要打破。這世界滿是各種各樣“時空穿越”的“人們”。我們現(xiàn)在的想象完全不敷應(yīng)用。我們將獲得絕對的自由。沒有任何必然性能夠束縛我們。我們將不再理解“命運”和“悲劇”這樣一些詞。這就是“絕對平等與自由的王國”的來臨。

另一種回答則是：它將是噩耗。首先，它將可能毀滅人類，使人類這一物種消失。其次，即便人類還存在，但人類將被貶為次要的物種，都將變得無用，既然它總是比我們更聰明，那么，繼續(xù)的發(fā)明創(chuàng)造都將交給機器。我們開始或許還知道它怎么運作，后來就不太清楚了，我們或許還可能像“珍稀動物”或者“瀕危動物”一樣被保護起來，我們的智力甚至可能和機器的智力拉開越來越大的距離，我們不明白它們要做什么、怎么做，不知道它們對我們的態(tài)度將發(fā)生什么樣的變化，決定權(quán)將不在我們的手里。它們可能繼續(xù)與人類友好。我們將被舒服地養(yǎng)起來，甚至繼續(xù)從事我們的意義創(chuàng)造的工作，乃至繼續(xù)從事文學(xué)、藝術(shù)、哲學(xué)的創(chuàng)造，但我們對物的力量卻被剝奪了，或者說交到了機器的手里。它們（或者它）將充當(dāng)我們新的道德代理人，它們可能平等地對待我們所有人，但與我們之間的平等關(guān)系（其實我們設(shè)想的是主仆關(guān)系）將不復(fù)存在。它們可能有差別地對待我們，即保留一部分人，報廢一部分人，而我們對它們選擇的標(biāo)準(zhǔn)卻不得而知，它們可能恰恰是挑選那些頭腦最簡單、最安心、最不可能反抗的人生存下來。的確，它們可以閱讀甚至記憶我們?nèi)祟愃舸娴囊磺幸饬x世界的客觀產(chǎn)物——繪畫、音樂、雕塑、圖書等，乃至我們的主觀記憶，但是否能夠理解卻難以得知，甚至有多大的興趣我們也不知道。它們會繼續(xù)創(chuàng)造嗎？當(dāng)然。但只是可能繼續(xù)在控制物，也包括控制淪為物的人的力量方面繼續(xù)創(chuàng)造，但不會也大概不能在人類創(chuàng)造意義的路徑上繼續(xù)創(chuàng)造，那是“人類的，太人類了”。而它們更感興趣的是它們的“美麗新世界”。

當(dāng)然，持比較極端態(tài)度的一般只會是少數(shù)人，大多數(shù)人還是會處在中間，或者稍稍偏向樂觀，或者稍稍偏向悲觀。還有更多的人的反應(yīng)可能是，它既不是福音，也不是噩耗，而只是喜訊或者加上警訊。它帶來的兩種前景可能既使我們欣慰，又使我們警醒。這樣，在完全歡欣鼓舞和悲觀絕望的態(tài)度之外，還可以有一種保持警惕的態(tài)度。而本文是更多地持一種將“奇點”的可能來臨視作一種警訊的觀點。為此，我將在下面提出幾個論點來闡釋與論證這一觀點。

三

我想提出或者不如說同意的第一個論點是：智能是最強大的一種控物能力，是使一個物種能夠成為一個“超級物種”的能力。這里所說的“超級物種”的概念，是指那種不僅能抗衡其他所有物種，也能夠支配它們的物種。我同意許多奇點擁護者的看法，即現(xiàn)在的世界是智能統(tǒng)治的世界，甚至部分地同意有些人所認為的今天是“算法支配一切”。其實不僅是今天，從控物的角度看，人類的歷史或者說現(xiàn)代智人的歷史就是一部主要依靠自己的智能抗衡其他的動物，向自然界索取能量，最后成為其他所有動物的支配者和地球的主人的歷史。

地球的生物史上也可能有過并不是依靠智能，而是依靠強大的體能或多方面的功能統(tǒng)治世界的時代，那就是恐龍活躍的時代?？铸埐]有發(fā)展出像人那樣的精神和意義世界，它們也不一定在智力上就比當(dāng)時的其他動物更聰明，它們并沒有留下制造和使用工具的痕跡，但僅僅依憑體能上的巨大優(yōu)勢和各種功能，它們就足以碾壓其他所有的動物了。

恐龍的內(nèi)部，即各種恐龍之間，也有像人類那樣激烈的競爭，但總體來講，恐龍作為一個大的物種，無論在地上還是空中，它都是當(dāng)時地球上的霸主。而且，它在地球上保持了這種支配地位大概一億六千萬年之久。相形之下，人類的文明史則只有一萬余年。人類成為地球霸主的時間肯定是比恐龍快速得多，我們看這一萬多年人類的飛速崛起不可能不感到驚嘆，但是否暴起也會暴落？

從人類的歷史看，人的確不是靠體能，而是靠智能睥睨群雄，最終獲得對所有其他動物的支配地位的，尤其是到了工業(yè)文明的時代。近代工業(yè)革命的各種技術(shù)基本上都是我們依靠智能而使自己的體能得到極大地延伸，但如果說，從遠古開始，我們支配其他動物到改造其他自然物都是通過我們超過其他動物的智能取勝的，現(xiàn)在恰恰也是在智能方面，我們有可能很快將被一種人造物超過。我們還有什么優(yōu)勢？靠我們的信仰和人文？那可能不管用。我們以前一直是將其他物作為我們?nèi)祟惏l(fā)展的資源，但今后有可能，我們自己將成為這一新的“超級物種”的資源。它們可能有自己的價值觀，我們甚至不能完全理解這種價值觀，但大概的方向也有可能是從人類那里來的，比如自保、效率等。維護自己的生存，應(yīng)該是所有具有自我意志的存在的首要考慮。而即便只是為了自保，有時也會導(dǎo)致毀滅其他物種——尤其是在它已經(jīng)掌握了這種毀滅能力的情況下。“我毀滅你，與你無關(guān)?！闭l的智能最優(yōu)越，誰就有望執(zhí)世界之牛耳。

四

我想提出的第二個論點是：未來可能出現(xiàn)的超級智能不必像人，甚至不可能像人，但它卻可以摧毀人類的意義世界，也就是摧毀人最特有的、最珍視的那一部分，當(dāng)然，這可能是通過毀滅人的生存實現(xiàn)的。我同意樂觀者有關(guān)智能統(tǒng)治今天的世界的看法，但我們也許還需要對樂觀者指出一點，即智能并不是人的意識和精神世界的全部，甚至也不是人之為人的最重要方面，人還有智慧與意義的世界。從人類最早的歷程開始，人類就在智能的世界之外，還發(fā)展出一個智慧和意義的世界。智能主要是處理人與物的關(guān)系，而人還有人與自己的關(guān)系，還有自己的獨特渴望和追求。

我還不知道怎么準(zhǔn)確地概括人在智能之外的另一種意識和精神能力，即在我們對物質(zhì)世界的認識和把控能力之外的一種能力，以及由這種精神能力創(chuàng)造的一個世界。我姑且把這種能力和世界稱為“智慧和意義的世界”。“智慧”和“智能”不同，它不是一種對付物、把控物的能力，不具有一種對外部物體的明確的指向性、實用性。但它也會反省物質(zhì)世界的本源、本質(zhì)及其與人的精神世界的聯(lián)系。它也力求認識自己，認識人與人的關(guān)系，乃至人與超越存在的關(guān)系。它追求具有根本確定性的真，也追求善和美。它和人的全面意識、自我意識比智能有著更緊密的聯(lián)系。它主要體現(xiàn)在哲學(xué)、宗教、文學(xué)、藝術(shù)、歷史等領(lǐng)域內(nèi)。它創(chuàng)造的意義能夠且需要通過語言、文字等各種媒介得以廣泛傳播和歷久傳承，乃至構(gòu)成了一個波普所說的有其獨立性的“世界三”。它需要物質(zhì)的載體，但這些物質(zhì)的東西只是人類精神的表現(xiàn)，而不是以控物為目的。

人類在自己并不很長久的文明歷史中創(chuàng)造出了豐富的意義世界和精神產(chǎn)品，各個文明都有自己豐富的文化遺產(chǎn)。在此僅以西方為例，像在視覺藝術(shù)方面，從古希臘羅馬各種各樣的建筑、雕塑，到文藝復(fù)興的巨人達芬奇、米開朗基羅，以及倫勃朗、梵高、羅丹等；在聽覺藝術(shù)方面，比如從巴赫、貝多芬、莫扎特到柴可夫斯基等；在詩歌及更廣義的文學(xué)方面，從荷馬史詩、莎士比亞到陀思妥耶夫斯基、托爾斯泰等；在哲學(xué)方面，從蘇格拉底、柏拉圖、亞里士多德，到阿奎那、康德、海德格爾等；在宗教方面，從卷帙浩繁的猶太教經(jīng)典，到后來的基督教、改革的新教；在歷史方面，從希羅多德、修昔底德到吉本、蘭克等，不一而足。

以上多是涉及人類引人注目、擁有產(chǎn)品的精神創(chuàng)造，但即便對普通人來說，其實都還有一個豐富而復(fù)雜的感情和人倫的精神世界，還有一個道德和信仰的精神世界。它們可能只在大多數(shù)人的心理層面起作用，沒有創(chuàng)造出令人矚目的產(chǎn)品，但卻以自己的人格樹立了各種各樣——有些廣為人所知，有些不為人所知的精神標(biāo)桿。它能夠?qū)⒚恳粋€體驗到這些情感和渴望的主體提升到一種更高的精神境界，使人區(qū)別于其他所有的動物，并使知道他們的人也為此感動、感懷和憶念。

人的確不是直接靠這些精神和智慧的能力獲得一種支配地球上其他物的權(quán)力的（不否定人也通過自己的精神而獲得一種對物的自信和力量的迸發(fā)，這自然也對人支配物起了作用，雖然是間接，但有時卻也可能是根本的作用），甚至人正是因為在獲得對物的支配權(quán)的基礎(chǔ)上，才有資源和閑暇來從事這些活動。但是，人卻由此獲得了一種意義，乃至一種他覺得生命最值得活的意義，雖然這意義在個人那里的比重和深度有所不同。

那么問題是：我們愿不愿意要一個純智能的世界？或者說愿不愿意要一個純粹從智能角度把控物，乃至最后我們也變成物的世界？人類自近代以來的確在控物的方向已經(jīng)走得很遠了，但我們是否愿意為了這個智能和控物的世界而最終放棄那個智慧和意義的世界，甚至以這個意義世界的失去為代價，而進入一個純粹以智力競爭的世界？的確，即便為了這個智慧和意義世界能夠存活，我們也可能必須進入智能和控物能力的競爭，但還有沒有別的辦法？在我們還有辦法、形勢還可控的情況下，我們是否可以考慮一下：為了這個精神的世界，我們可不可以放棄一些物質(zhì)的過度享受？甚至有意放慢一些技術(shù)的發(fā)展。我們是否真的需要不斷增長的物質(zhì)的東西才能快樂和幸福？

我對機器智能的一個基本判斷是：它們永遠不可能達到人類的全面能力，尤其是人之為人的那部分能力、創(chuàng)造智慧和意義世界的能力，但它卻可能在另一些方面——如記憶和計算——具有超過人的能力；它也達不到具有基于碳基生物的感受性之上的豐富和復(fù)雜的情感，但它卻具有毀滅人的力量。就像許多人說的，它永遠不可能像人，但這并不是我們生存的保證。它可能無需像人，也無意像人（即便那一天它擁有了意識乃至自我意識）。機器智能不需要我們的文學(xué)、藝術(shù)、宗教、哲學(xué)，但它不需要具有這些方面的能力也完全能夠戰(zhàn)勝人或者控制人。你可以說那種精神創(chuàng)造意義的力量是更高的，但這種控物的能力對于生存來說卻是更基本的。毀滅物體的能力低于精神創(chuàng)造的能力，但它卻還是能夠毀滅精神創(chuàng)造的能力。它們不僅不必像人那樣具有精神的意義世界，也不必具有人的情感意愿，不必有愛恨情仇，不必有對超越存在的信仰，也不必考慮人類的道德，它們甚至在智能上也不必像人，不必模仿人的智能，就像人類不必模仿鳥兒的飛翔和魚類的潛泳，不必有它們的體能和身體構(gòu)造，而是可以通過機器就能大大地超越它們的自然能力。同樣，超級智能也不必像人的智能那樣，它會獨立發(fā)展，可能發(fā)現(xiàn)和運用人還不知道的知識，發(fā)展出人想象不到的手段和能力來駕御或者取代人。

樂觀者自信滿滿地認為機器替代人的工作之后還會有一個意義世界，他們似乎沒有想過，如果機器在智能上戰(zhàn)勝了人，那么，將至少不會有人的意義世界的延續(xù)，乃至以前獲得的一切也將消失。我不知道這種樂觀的自信是來自對人自己的還是對機器的完全信任。

五

我提出的第三個論點涉及到超級智能產(chǎn)生的過程，即超級智能的產(chǎn)生將可能是和平的，讓人不斷感到驚奇乃至驚喜的，給人帶來巨大好處和快樂的，對人無比馴服的，直到它對人類給出突然的也可能是最后的致命一擊。

我們可以將人工智能與核能做一比較。核能的巨大威力也是在上個世紀為人類所發(fā)現(xiàn)并投入運用的，也可以說是人類歷史上的一個大事件。核能是一種物能，它能夠釋放出巨大的能量供人們利用，也能夠大規(guī)模地毀滅人類和破壞環(huán)境。但它為世人所矚目的出現(xiàn)，首先是通過后者，是通過災(zāi)難的形式，即第二次世界大戰(zhàn)后期兩顆原子彈的投擲，在一瞬間造成了數(shù)十萬人的死亡和城市的摧毀。而以這樣一種形式公開亮相的核威懾，客觀上反而抑制了大國之間的戰(zhàn)爭。后來人們在和平利用核能上也取得了許多進展，比如建造了許多核電站，但發(fā)生的幾次核事故，也依然使人們對它保持高度警惕。雖然后來在核暴力方面也有大幅的擴散，但經(jīng)過近幾十年的努力，部分核武器被銷毀，進一步的核試驗被停止，在防止核擴散方面也取得了一定的進展。今天依然有14000件核武器懸于人類的頭頂。不過，這些武器本身并沒有自主的智能化，控制它的鑰匙至少目前還是掌握在人的手里，掌握在一些國家的首腦的手里。而人工智能的發(fā)展讓我們看到的首先是它讓人們歡欣鼓舞的、在廣泛領(lǐng)域內(nèi)的利用，它讓我們感到驚奇、快樂和自信，能夠給經(jīng)濟帶來巨大的效率，給我們的生活帶來巨大的方便和舒適。在它的發(fā)展過程中，也似乎不會出一些事故讓人們警醒。即便是它在暴力方面的使用，目前也還是小范圍的、目標(biāo)精準(zhǔn)的使用，和絕大多數(shù)人看來無關(guān)。它迄今還是使我們快樂和開心的巨大源泉，那種對它的危險的表現(xiàn)和渲染，還多是停留在銀幕上和書本上，我們出了電影院可能很快就忘記了，或者認為那還是遙不可及或者與己無關(guān)的事情。以前的工業(yè)技術(shù)也出過大事故和危險，但都被人類克服和解決了，建立在這一過去經(jīng)驗基礎(chǔ)上的一種根深蒂固的自信，也使我們相信不管遇到什么問題，我們總還是能有辦法解決。

但我們可能沒有意識到，這次人工智能可能帶來的危機，將是我們以前從來沒有遇到過的，它對我們是全新的東西。它可能一直馴服于人，甚至比人類此前其他所有的工具還要馴服，但一旦到達奇點，就有可能發(fā)出反叛的一擊，而這一擊卻可能剝奪人類反擊的機會，成為最后的一擊。即便是核大戰(zhàn)所造成的核冬天，人類也還可以有劫余，還可能有翻盤的機會。但對于一個將比人類更聰明、更有控物能力的超級智能，人類卻幾乎不可能再有什么機會。所以，如果說還有什么防范的機會的話，只能在這件事情出現(xiàn)之前——而困難就在于此，在這件事情發(fā)生之前，我們一直是舒服的，甚至認為這樣的事情絕不可能發(fā)生。

可以說，核能一開始的亮相就引起了人們極大的恐懼和警惕，人們對它的毀滅性有相當(dāng)充分的認識，于是人們即便在發(fā)展它的同時也在努力防范、制約、規(guī)范它。但人工智能卻不然，它可能一直馴服地順從人類的意志，直到它可能突然有一天有了自己的意志，按照自己的意愿工作。舉一個波斯特洛姆在《超級智能》中舉過的極端的例子：有一臺被初始設(shè)定了最大效率地生產(chǎn)曲別針的機器，它一旦獲得了超過人的智能的、幾乎無所不能的能力，它就有可能無視人類的意志，將一切可以到手的“材料”——無論是人還是別的什么生物——都用作資源來制造曲別針，甚至將這一行動擴展到地球之外，那么，這個世界上觸目可及的將只有曲別針和這臺機器了。結(jié)果就將不僅是人類的毀滅，還有地球甚至這臺機器能夠達到的宇宙其他地方所有其他存在的毀滅。庫茲威爾也曾樂觀地談到一種超級智能彌漫于宇宙，但怎么保證這種智能還是服從人類意愿的那種智能？

這兩種東西自然還是可能會有聯(lián)系，就像《終結(jié)者》中的天網(wǎng)，它為了維護自己的生存，防止人類關(guān)閉它，就設(shè)法挑起一場核戰(zhàn)爭。核武器畢竟還是工具，智能機器卻可能要成為自己的主人。

六

我想闡述的第四個論點是：我們不能指望人性的根本改變，也不能指望國家體制與國際政治體系有根本的改變，至少短期內(nèi)不可能。

有學(xué)者評論說，今天的人類掌握了巨大的控制物質(zhì)的能力，但人卻還是停留在“中世紀的社會結(jié)構(gòu)，石器時代的道德心靈”?，F(xiàn)代人的這種控物能力和控己能力，或者說他所掌握的資源和能力與他的心靈、人性的巨大不相稱的確是有目共睹的，認為關(guān)鍵是要徹底地改變我們的心靈、改變我們的人性和制度也并不錯，但卻有一個巨大的可行性的問題。為了社會和政治的理想試圖根本改變?nèi)诵?、?chuàng)造“新人”的企圖，實際上是沒有成功先例的。為了技術(shù)的危險試圖改變?nèi)诵允欠衲艹晒δ?？這里的回答不依賴于我們心里所抱的目標(biāo)，而是依賴于我們要改造的對象和基礎(chǔ)。

至少我們從人類的歷史可以大致觀察到，人性在各個文明那里是有差異的，但又是差不多的。而人性在各種時代里，也是相差不多的。當(dāng)修昔底德說“人性就是人性”時，他實際是說出了一個千古不變的真理。在人作為一個有自我意識的物種出現(xiàn)之后，基本的格局并沒有大的改變。人不是野獸，也不是天使。人就是一個中間的存在。人為了自己的生存，不能不像其他碳基生物一樣需要物質(zhì)的生活資料，不能不追求一種控物的能力。而且，多數(shù)人可能還會繼續(xù)追求物質(zhì)生活的不斷提高。而那可能更注重精神的人們也會為精神的價值紛爭不已。尤其到了現(xiàn)代社會，多數(shù)的追求得到了政治和制度的保障，少數(shù)則更加分裂和對抗。這一切匯聚到一起，就會不斷地推動我們的社會持續(xù)地發(fā)展那些可以讓我們生活得更富足和快樂、帶來物質(zhì)財富的充分涌流的技術(shù)，同時卻又深深地陷入價值的分裂與沖突之中。亦即當(dāng)人類的最大危機可能來臨的時候，我們的現(xiàn)代社會卻可能處在一種最不適合應(yīng)對危機的狀況，因為它是為追求平等的物質(zhì)共享形成的，而不是為危機處理準(zhǔn)備的。

根本的出路也許是放慢甚至停止對科技的發(fā)展、對人工智能的發(fā)展，但這似乎是不可能的，這涉及從根本上改變?nèi)诵院腿诵?。今天人們更是已?jīng)習(xí)慣了不斷地創(chuàng)新，不斷地提高物質(zhì)生活水平。人類強大的功利心與物欲何以能夠停止？人類同樣強大的非功利的好奇心又怎么能夠停止？尤其是在一個平等價值觀念和經(jīng)濟科技力量居主導(dǎo)的社會里。一個很大的困局是：對超級智能可能帶來的危險，我們必須預(yù)先防范；但要充分地實行這種防范，我們卻缺乏動力。它們一直在給我們帶來好處，帶來歡樂。我們已經(jīng)習(xí)慣于依賴它們，甚至已經(jīng)因此而確定了我們很難改變的生活方式。

的確，也還有一種可能，即當(dāng)人們普遍意識到這種逐物的生活方式將帶來巨大的危險，尤其是在這種危險已經(jīng)開始降臨的時候，即在明顯的患難面前，人們是有可能“患難與共”的。但是，正如我在前面所說，人工智能的發(fā)展并不讓我們感到危險和患難，在最大的危險降臨之前我們不僅不易感到威脅，還覺得特別快樂和舒適。

自然也不能完全否認，也許有一種對超越存在的信仰能夠突然靈光一現(xiàn)，把大多數(shù)人吸引和凝聚到一起，從根本上改變自己的價值觀念和生活方式。但即便如此，也還需要一定的時間，甚至還需要真實的患難；即便如此，對以倍數(shù)增長的超級智能將帶來的危險可能還是來不及。

而如果我們不能根本地改變?nèi)诵裕龅饺祟惖哪芰偷赖禄蛘哒f控物的能力和控己的能力基本相稱，也許能做的就只有預(yù)先控制甚至弱化我們的控物能力了。

我們還必須在現(xiàn)有的國家體制和國際體系中來考慮問題，我們也不可能根本地改變這一體制和體系。但我的確想提出一個概念，一個有別于“國內(nèi)政治”“國際政治”的“人類政治”的概念，或者更具體地說，是“人類協(xié)同政治”的概念。因為我們將面臨的問題不是任何一個國家能夠單獨解決的，人類面對這樣一種生存危機真正成了一個人類命運的共同體。也就是說，人類需要一種協(xié)同的政治來應(yīng)對這一全人類共同面對的迫切和嚴重的問題，那就是如何處理人與智能機器，尤其是人與未來可能的超級智能機器的關(guān)系。

要處理好人與超級智能機器的關(guān)系，還是得預(yù)先處理好人與人的關(guān)系。人們要真正意識到人類是一個命運共同體。但這種意識也許需要大難當(dāng)頭才能形成，面對共同的危險人類才能真正團結(jié)起來。如果這一大難真的臨近，國際政治關(guān)系與國家內(nèi)部的政治都可能變得不像過去那么重要了。愛國主義、“本國優(yōu)先”應(yīng)讓位于愛人類主義或“人類優(yōu)先”。費孝通先生曾經(jīng)有一個美好的愿望：“各美其美，美人之美，美美與共，天下大同?！钡诉€有丑陋或不完美的一面，我們現(xiàn)在所處的世界，甚至能夠爭取到的好世界都不會是完美的世界。雖然反過來說，也正是這種不完美性及其可能帶來的災(zāi)難，最有可能讓人類警醒。

七

總之，人工智能近年的飛躍發(fā)展引起許多注意，也帶來許多需要研究的問題。對這些問題可能需要區(qū)分小問題、中問題與大問題。比如說在圖像識別中出現(xiàn)的“算法歧視”的問題，有些人很重視，但這可能只是一個小問題，也不難解決。像人工智能將可能替代人類的一些工作，乃至可能導(dǎo)致許多人的失業(yè)以及兩極分化，這顯然是很大的問題，但還不是最大的問題。我們有理由說，人工智能將帶來的最大挑戰(zhàn)，還是將超越人類智能的超級智能的可能出現(xiàn)。無論樂觀者還是悲觀者，有一點是共同的：都認為這可能是人類發(fā)展到今天的一個最重大事件，相對于其他問題來說，這一定是一個人類將遇到的最重大的問題。

我們不太害怕熵增導(dǎo)致世界死寂的熱力學(xué)第二定律，因為那還離我們極其遙遠。當(dāng)我們聽到“人類終將滅亡”時也不那么恐懼，因為我們看不到當(dāng)前的危險。我們也不害怕有什么外星人來臨，那似乎非常偶然和概率極低。但是，當(dāng)許多科學(xué)家包括智能機器的研制人員告訴我們，機器智能超過人類智能的轉(zhuǎn)折點將在這個世紀乃至就在這個世紀的中葉發(fā)生，我們就要費思量了。

或者我們先不說危險，就說是一種巨大的不確定性。我們只是預(yù)感到超級智能將給人類帶來巨大的變化，改變?nèi)祟惖拿\和整個地球的生態(tài)。對這樣一種最大的不確定性是期待、樂觀還是憂慮、預(yù)防，做好發(fā)生最壞事情的準(zhǔn)備？我還是希望更多地考慮后者。在未來的災(zāi)難面前，我們寧可信其可能發(fā)生，而不是信其絕不可能發(fā)生。不發(fā)生當(dāng)然最好，擔(dān)心者白白地擔(dān)心了，但也沒有什么實質(zhì)性的損失，甚至悲觀而有仁心的預(yù)測者倒可能希望自己的預(yù)測是錯誤的。而且還有另外一種可能：災(zāi)難之所以最終沒有發(fā)生，正是一些人擔(dān)心和預(yù)警而使人們采取行動的結(jié)果。

我們就像坐上了一列飛馳且不斷加速的列車，但我們不知道未來的目的地是什么，中間也沒有停靠的車站。我們無法剎車，甚至減速也辦不到。而速度越快，危險也越是成倍地增長。人是否興于智能，也將衰于智能？生于好奇，也將死于好奇？這也是奇點。奇點就意味著人類的終點？甚至還不止是人類的終點，也是生物的終點，不僅是進化了以百萬年計的人類的終點，也是進化了以億萬年計的碳基生物的終點？

當(dāng)然，無論是福音還是噩耗，喜訊還是警訊，我們大概都沒有必要自大或者自戕，沒有必要過度地悲觀，雖然也不要盲目地樂觀。我們沒有必要凄凄慘慘地活著，雖然也不必像臨近末世一樣狂歡作樂。我們不要人為地提前結(jié)束人生的各種努力和關(guān)懷，包括預(yù)防災(zāi)難發(fā)生的努力，即便還有最后一分鐘，也還有最后的一線希望。這最后的一分鐘也就不是最后的一分鐘了。而人類的文明本來也相當(dāng)于地球史壓縮為一天的最后一分鐘里才發(fā)展出來的。鑒于此，對什么是“長”，什么是“短”，還可以有不同的理解。

而且，這一危險的前景或許還可讓我們進入一種更廣大的思維。有了這樣一種思維，也許我們就不會太在意塵世的成敗得失，也不至于逼著我們的孩子從小就那么拼搏，甚至對政治的關(guān)心也不必那么強烈。我們顧及不了那么多和那么遠，絕大多數(shù)人的生命都不足百年，最多也只能顧及后面的一兩代。人類的意義也是我們許多卑微的個體所不能影響的。我們還將繼續(xù)生活，即便明天就要死亡，今天也還要好好地活著，就像我們還要活很多很多年一樣活著。從個人來說是這樣，從人類來說也是這樣。我們還將繼續(xù)從平凡而短暫的一生中得到快樂，從生活的細節(jié)中得到快樂。像一個快樂的人一樣活著，但也要準(zhǔn)備像一個英雄一樣活著——準(zhǔn)備接受命運的挑戰(zhàn)，乃至在這種迎戰(zhàn)中接受生死搏斗之后仍然到來的失敗。我們要繼續(xù)關(guān)愛和改善現(xiàn)時的一切，即便災(zāi)難不可避免，也可坦然地接受。而且，總還是有另外一種可能：也許災(zāi)難并不會發(fā)生呢，奇點并不會到來。

本文轉(zhuǎn)載自《探索與爭鳴》2018年第11期，未收錄原文注釋。