但是你可能會(huì)說，敲響警鐘只能加速人類之間(宇宙主義者和地球主義者)的人工智能戰(zhàn)爭(zhēng)。這樣的人類戰(zhàn)爭(zhēng)對(duì)人類的危害不比高級(jí)人工智能差。如果人類在本世紀(jì)使用先進(jìn)的武器進(jìn)行一場(chǎng)殘酷的戰(zhàn)爭(zhēng)，結(jié)果將是大規(guī)模的死亡。

　　正確，但是不能肯定這一定會(huì)發(fā)生。我認(rèn)為，人類在人類戰(zhàn)爭(zhēng)中存活下去的可能性比人工智能機(jī)器決定完全毀滅人類的機(jī)會(huì)大。由于智慧水平，人工智能機(jī)器們會(huì)發(fā)現(xiàn)這樣的任務(wù)(毀滅人類)是如此的簡(jiǎn)單。

　　對(duì)于這些部分，你可能感覺有些猶疑，甚至是不舒服。我承認(rèn)，我也感覺不舒服。我一部分是宇宙主義者，宇宙主義是我的夢(mèng)想，它是我為之獻(xiàn)身的事業(yè)；而另一部分我是地球主義者，我并不想人類大規(guī)模死亡，我告訴自己，如果所有的大腦制造者都停止工作，將不會(huì)有人工智能帶來的任何問題。我想，我可能是地球上第一個(gè)這樣的大腦制造者，那就是和制造原子彈(鈾彈或氫彈)的核物理學(xué)家一樣感受到了某種道德上的困惑。然而，他們中大多數(shù)是在核彈被投放之后感到了疑慮，而不是之前。

　　首先，我認(rèn)為大腦制造研究不會(huì)停止。正如我在第6章解釋的一樣，這章主要介紹了人工智能戰(zhàn)爭(zhēng)是怎樣開始的，我所看到的唯一能夠讓大腦制造停止的方法就是地球主義者的吶喊成為普遍現(xiàn)象并且在政治上非常有力。它必須足夠強(qiáng)大，以便可以形成一個(gè)能夠搜尋那些可疑的宇宙主義研究者的私人住宅的集權(quán)國(guó)家，并且更主要的是，能夠勝過那些支持繼續(xù)人工智能研究的經(jīng)濟(jì)和政治力量。

　　我認(rèn)為，最折磨我的道德問題是：“如果推動(dòng)人工智能研究最終帶來幾十億人死亡將怎么辦？如果你肯定這將是所需的代價(jià)你還會(huì)繼續(xù)嗎？”在我寫本書的時(shí)候，我正在思考這個(gè)問題，而且我的思想可能會(huì)隨著我的變老而改變，我的回答將會(huì)是這樣的：“如果我能夠肯定這點(diǎn)，雖然這些還是猜想，那么我將需要更深程度地反省自己，來看看我堅(jiān)持宇宙主義者的夢(mèng)想到底有多大的程度。一方面，我可能會(huì)認(rèn)為宇宙對(duì)于人類的命運(yùn)漠不關(guān)心—— 僅僅是處在一個(gè)微不足道的宇宙中一個(gè)微小的星系中的一個(gè)微小的恒星星系中的一顆微小的星球上的一種微小的生物，如果正如理論家們指出的一樣有萬(wàn)億個(gè)宇宙的話。我的無情的宇宙主義一面會(huì)這樣思考問題，所以我會(huì)選擇繼續(xù)支持制造人工智能機(jī)器。

　　但是另一方面，我也是一個(gè)人，由于宇宙主義夢(mèng)想而導(dǎo)致幾十億人死亡的結(jié)果是我完全排斥的。我認(rèn)為，我將不得不學(xué)會(huì)習(xí)慣這樣可怕的道德困境。人類也需要這樣。我只是第一批意識(shí)到這點(diǎn)的人。想象一下我的工作的遠(yuǎn)期后果，它將迫使我這樣想問題。