我們正站在變革的邊緣，而這次變革將和人類的出現一般意義重大 – Vernor Vinge。如果你站在這裏，你會是什麼感覺？
看上去非常刺激吧？但是你要記住，當你真的站在時間的圖表中的時候，你是看不到曲線的右邊的，因爲你是看不到未來的。所以你真實的感覺大概是這樣的：
稀鬆平常。
-------------------------------
遙遠的未來——就在眼前
想象一下坐時間機器回到1750年的地球，那個時代沒有電，暢通通訊基本靠吼，交通主要靠動物拉着跑。你在那個時代邀請了一個叫老王的人到2015年來玩，順便看看他對“未來”有什麼感受。我們可能沒有辦法瞭解1750年的老王內心的感受——金屬鐵殼在寬敞的公路上飛馳，和太平洋另一頭的人聊天，看幾千公里外正在發生進行的體育比賽，觀看一場發生於半個世紀前的演唱會，從口袋裏掏出一個黑色長方形工具把眼前發生的事情記錄下來，生成一個地圖然後地圖上有個藍點告訴你現在的位置，一邊看着地球另一邊的人的臉一邊聊天，以及其它各種各樣的黑科技。別忘了，你還沒跟他解釋互聯網、國際空間站、大型強子對撞機、核武器以及相對論。
這時候的老王會是什麼體驗？驚訝、震驚、腦洞大開這些詞都太溫順了，我覺得老王很可能直接被嚇尿了。
但是，如果老王回到了1750年，然後覺得被嚇尿是個很囧的體驗，於是他也想把別人嚇尿來滿足一下自己，那會發生什麼？於是老王也回到了250年前的1500年，邀請生活在1500年的小李去1750年玩一下。小李可能會被250年後的很多東西震驚，但是至少他不會被嚇尿。同樣是250來年的時間，1750和2015年的差別，比1500年和1750年的差別，要大得多了。1500年的小李可能能學到很多神奇的物理知識，可能會驚訝於歐洲的帝國主義旅程，甚至對於世界地圖的認知也會大大的改變，但是1500年的小李，看到1750年的交通、通訊等等，並不會被嚇尿。
所以說，對於1750年的老王來說，要把人嚇尿，他需要回到更古老的過去——比如回到公元前12000年，第一次農業革命之前。那個時候還沒有城市，也還沒有文明。一個來自狩獵採集時代的人類，只是當時衆多物種中的一個罷了，來自那個時代的小趙看到1750年龐大的人類帝國，可以航行於海洋上的鉅艦，居住在“室內”，無數的收藏品，神奇的知識和發現——他很有可能被嚇尿。
小趙被嚇尿後如果也想做同樣的事情呢？如果他會到公元前24000年，找到那個時代的小錢，然後給他展示公元前12000年的生活會怎樣呢。小錢大概會覺得小趙是喫飽了沒事幹——“這不跟我的生活差不多麼，呵呵”。小趙如果要把人嚇尿，可能要回到十萬年前或者更久，然後用人類對火和語言的掌控來把對方嚇尿。
所以，一個人去到未來，並且被嚇尿，他們需要滿足一個“嚇尿單位”。滿足嚇尿單位所需的年代間隔是不一樣的。在狩獵採集時代滿足一個嚇尿單位需要超過十萬年，而工業革命後一個嚇尿單位只要兩百多年就能滿足。
進步越來越大，發生的越來越快，也就是說我們的未來會很有趣對吧？
未來學家Kurzweil認爲整個20世紀100年的進步，按照2000年的速度只要20年就能達成——2000年的發展速度是20世紀平均發展速度的5倍。他認爲2000年開始只要花14年就能達成整個20世紀一百年的進步，而之後2014年開始只要花7年（2021年），就能達到又一個20世紀一百年的進步。幾十年之後，我們每年都能達成好幾次相當於整個20世紀的發展，再往後，說不定每個月都能達成一次。按照加速回報定，Kurzweil認爲人類在21世紀的進步將是20世紀的1000倍。
如果Kurzweil等人的想法是正確的，那2030年的世界可能就能把我們嚇尿了——下一個嚇尿單位可能只需要十幾年，而2050年的世界會變得面目全非。
你可能覺得2050年的世界會變得面目全非這句話很可笑，但是這不是科幻，而是比你我聰明很多的科學家們相信的，而且從歷史來看，也是邏輯上可以預測的。
那麼爲什麼你會覺得“2050年的世界會變得面目全非” 這句話很可笑呢？有三個原因讓你質疑對於未來的預測：
1. 我們對於歷史的思考是線性的。當我們考慮未來35年的變化時，我們參照的是過去35年發生的事情。當我們考慮21世紀能產生的變化的時候，我們參考的是20世紀發生的變化。這就好像1750年的老王覺得1500年的小李在1750年能被嚇尿一樣。線性思考是本能的，但是但是考慮未來的時候我們應該指數地思考。一個聰明人不會把過去35年的發展作爲未來35年的參考，而是會看到當下的發展速度，這樣預測的會更準確一點。當然這樣還是不夠準確，想要更準確，你要想象發展的速度會越來越快。
2. 近期的歷史很可能對人產生誤導。首先，即使是坡度很高的指數曲線，只要你截取的部分夠短，看起來也是很線性的，就好像你截取圓周的很小一塊，看上去就是和直線差不多。其次，指數增長不是平滑統一的，發展常常遵循S曲線。
S曲線發生在新範式傳遍世界的時候，S曲線分三部分
- 慢速增長（指數增長初期）
- 快速增長（指數增長的快速增長期）
- 隨着新範式的成熟而出現的平緩期
如果你只看近期的歷史，你很可能看到的是S曲線的某一部分，而這部分可能不能說明發展究竟有多快速。1995-2007年是互聯網爆炸發展的時候，微軟、谷歌、臉書進入了公衆視野，伴隨着的是社交網絡、手機的出現和普及、智能手機的出現和普及，這一段時間就是S曲線的快速增長期。2008-2015年發展沒那麼迅速，至少在技術領域是這樣的。如果按照過去幾年的發展速度來估計當下的發展速度，可能會錯得離譜，因爲很有可能下一個快速增長期正在萌芽。
3. 個人經驗使得我們對於未來預期過於死板。我們通過自身的經驗來產生世界觀，而經驗把發展的速度烙印在了我們腦中——“發展就是這麼個速度的。”我們還會受限於自己的想象力，因爲想象力通過過去的經驗來組成對未來的預測——但是我們知道的東西是不足以幫助我們預測未來的。當我們聽到一個和我們經驗相違背的對於未來的預測時，我們就會覺得這個預測偏了。如果我現在跟你說你可以活到150歲，250歲，甚至會永生，你是不是覺得我在扯淡——“自古以來，所有人都是會死的。”是的，過去從來沒有人永生過，但是飛機發明之前也沒有人坐過飛機呀。
接下來的內容，你可能一邊讀一邊心裏“呵呵”，而且這些內容可能真的是錯的。但是如果我們是真的從歷史規律來進行邏輯思考的，我們的結論就應該是未來的幾十年將發生比我們預期的多得多得多得多的變化。同樣的邏輯也表明，如果人類這個地球上最發達的物種能夠越走越快，總有一天，他們會邁出徹底改變“人類是什麼”這一觀點的一大步，就好像自然進化不不斷朝着智能邁步，並且最終邁出一大步產生了人類，從而完全改變了其它所有生物的命運。如果你留心一下近來的科技進步的話，你會發現，到處都暗示着我們對於生命的認知將要被接下來的發展而徹底改變。
_______________
通往超級智能之路
人工智能是什麼？
如果你一直以來把人工智能（AI）當做科幻小說，但是近來卻不但聽到很多正經人嚴肅的討論這個問題，你可能也會困惑。這種困惑是有原因的：
1.我們總是把人工智能和電影想到一起。星球大戰、終結者、2001：太空漫遊等等。電影是虛構的，那些電影角色也是虛構的，所以我們總是覺得人工智能缺乏真實感。
2.人工智能是個很寬泛的話題。從手機上的計算器到無人駕駛汽車，到未來可能改變世界的重大變革，人工智能可以用來描述很多東西，所以人們會有疑惑。
3.我們日常生活中已經每天都在使用人工智能了，只是我們沒意識到而已。John McCarthy，在1956年最早使用了人工智能（Artificial Intelligence）這個詞。他總是抱怨“一旦一樣東西用人工智能實現了，人們就不再叫它人工智能了。”
因爲這種效應，所以人工智能聽起來總讓人覺得是未來的神祕存在，而不是身邊已經存在的現實。同時，這種效應也讓人們覺得人工智能是一個從未被實現過的流行理念。Kurzweil提到經常有人說人工智能在80年代就被遺棄了，這種說法就好像“互聯網已經在21世紀初互聯網泡沫爆炸時死去了”一般滑稽。
所以，讓我們從頭開始。
首先，不要一提到人工智能就想着機器人。機器人只是人工智能的容器，機器人有時候是人形，有時候不是，但是人工智能自身只是機器人體內的電腦。人工智能是大腦的話，機器人就是身體——而且這個身體不一定是必需的。比如說Siri背後的軟件和數據是人工智能，Siri說話的聲音是這個人工智能的人格化體現，但是Siri本身並沒有機器人這個組成部分。
其次，你可能聽過“奇點”或者“技術奇點”這種說法。這種說法在數學上用來描述類似漸進的情況，這種情況下通常的規律就不適用了。這種說法同樣被用在物理上來描述無限小的高密度黑洞，同樣是通常的規律不適用的情況。Kurzweil則把奇點定義爲加速回報定律達到了極限，技術進步以近乎無限的速度發展，而奇點之後我們將在一個完全不同的世界生活的。但是當下的很多思考人工智能的人已經不再用奇點這個說法了，而且這種說法很容易把人弄混，所以本文也儘量少用。
最後，人工智能的概念很寬，所以人工智能也分很多種，我們按照人工智能的實力將其分成三大類。
弱人工智能Artificial Narrow Intelligence (ANI): 弱人工智能是擅長於單個方面的人工智能。比如有能戰勝象棋世界冠軍的人工智能，但是它只會下象棋，你要問它怎樣更好地在硬盤上儲存數據，它就不知道怎麼回答你了。
強人工智能Artificial General Intelligence (AGI): 人類級別的人工智能。強人工智能是指在各方面都能和人類比肩的人工智能，人類能幹的腦力活它都能幹。創造強人工智能比創造弱人工智能難得多，我們現在還做不到。Linda Gottfredson教授把智能定義爲“一種寬泛的心理能力，能夠進行思考、計劃、解決問題、抽象思維、理解複雜理念、快速學習和從經驗中學習等操作。”強人工智能在進行這些操作時應該和人類一樣得心應手。
超人工智能Artificial Superintelligence (ASI): 牛津哲學家，知名人工智能思想家Nick Bostrom把超級智能定義爲“在幾乎所有領域都比最聰明的人類大腦都聰明很多，包括科學創新、通識和社交技能。”超人工智能可以是各方面都比人類強一點，也可以是各方面都比人類強萬億倍的。超人工智能也正是爲什麼人工智能這個話題這麼火熱的緣故，同樣也是爲什麼永生和滅絕這兩個詞會在本文中多次出現。
現在，人類已經掌握了弱人工智能。其實弱人工智能無處不在，人工智能革命是從弱人工智能，通過強人工智能，最終到達超人工智能的旅途。這段旅途中人類可能會生還下來，可能不會，但是無論如何，世界將變得完全不一樣。
讓我們來看看這個領域的思想家對於這個旅途是怎麼看的，以及爲什麼人工智能革命可能比你想的要近得多。
我們現在的位置——充滿了弱人工智能的世界
現在的弱人工智能系統並不嚇人。最糟糕的情況，無非是代碼沒寫好，程序出故障，造成了單獨的災難，比如造成停電、核電站故障、金融市場崩盤等等。
雖然現在的弱人工智能沒有威脅我們生存的能力，我們還是要懷着警惕的觀點看待正在變得更加龐大和複雜的弱人工智能的生態。每一個弱人工智能的創新，都在給通往強人工智能和超人工智能的旅途添磚加瓦。用Aaron Saenz的觀點，現在的弱人工智能，就是地球早期軟泥中的氨基酸——沒有動靜的物質，突然之間就組成了生命。
弱人工智能到強人工智能之路
爲什麼這條路很難走
只有明白創造一個人類智能水平的電腦是多麼不容易，才能讓你真的理解人類的智能是多麼不可思議。造摩天大樓、把人送入太空、明白宇宙大爆炸的細節——這些都比理解人類的大腦，並且創造個類似的東西要簡單太多了。至今爲止，人類的大腦是我們所知宇宙中最複雜的東西。
而且創造強人工智能的難處，並不是你本能認爲的那些。
造一個能在瞬間算出十位數乘法的計算機——非常簡單
造一個能分辨出一個動物是貓還是狗的計算機——極端困難
造一個能戰勝世界象棋冠軍的電腦——早就成功了
造一個能夠讀懂六歲小朋友的圖片書中的文字，並且瞭解那些詞彙意思的電腦——谷歌花了幾十億美元在做，還沒做出來。
一些我們覺得困難的事情——微積分、金融市場策略、翻譯等，對於電腦來說都太簡單了
我們覺得容易的事情——視覺、動態、移動、直覺——對電腦來說太TM的難了。
用計算機科學家Donald Knuth的說法，“人工智能已經在幾乎所有需要思考的領域超過了人類，但是在那些人類和其它動物不需要思考就能完成的事情上，還差得很遠。”
強人工智能到超人工智能之路
總有一天，我們會造出和人類智能相當的強人工智能電腦，然後人類和電腦就會平等快樂的生活在一起。
呵呵，逗你呢。
即使是一個和人類智能完全一樣，運算速度完全一樣的強人工智能，也比人類有很多優勢：
硬件上：
-速度。腦神經元的運算速度最多是200赫茲，今天的微處理器就能以2G赫茲，也就是神經元1000萬倍的速度運行，而這比我們達成強人工智能需要的硬件還差遠了。大腦的內部信息傳播速度是每秒120米，電腦的信息傳播速度是光速，差了好幾個數量級。
- 容量和儲存空間。人腦就那麼大，後天沒法把它變得更大，就算真的把它變得很大，每秒120米的信息傳播速度也會成爲巨大的瓶頸。電腦的物理大小可以非常隨意，使得電腦能運用更多的硬件，更大的內存，長期有效的存儲介質，不但容量大而且比人腦更準確。
- 可靠性和持久性。電腦的存儲不但更加準確，而且晶體管比神經元更加精確，也更不容易萎縮（真的壞了也很好修）。人腦還很容易疲勞，但是電腦可以24小時不停的以峯值速度運作。
軟件上來說：
- 可編輯性，升級性，以及更多的可能性。和人腦不同，電腦軟件可以進行更多的升級和修正，並且很容易做測試。電腦的升級可以加強人腦比較弱勢的領域——人腦的視覺元件很發達，但是工程元件就挺弱的。而電腦不但能在視覺元件上匹敵人類，在工程元件上也一樣可以加強和優化。
- 集體能力。人類在集體智能上可以碾壓所有的物種。從早期的語言和大型社區的形成，到文字和印刷的發明，再到互聯網的普及。人類的集體智能是我們統治其它物種的重要原因之一。而電腦在這方面比我們要強的很多，一個運行特定程序的人工智能網絡能夠經常在全球範圍內自我同步，這樣一臺電腦學到的東西會立刻被其它所有電腦學得。而且電腦集羣可以共同執行同一個任務，因爲異見、動力、自利這些人類特有的東西未必會出現在電腦身上。
通過自我改進來達成強人工智能的人工智能，會把“人類水平的智能”當作一個重要的里程碑，但是也就僅此而已了。它不會停留在這個里程碑上的。考慮到強人工智能之於人腦的種種優勢，人工智能只會在“人類水平”這個節點做短暫的停留，然後就會開始大踏步向超人類級別的智能走去。
這一切發生的時候我們很可能被嚇尿，因爲從我們的角度來看 a)雖然動物的智能有區別，但是動物智能的共同特點是比人類低很多；b)我們眼中最聰明的人類要比最愚笨的人類要聰明很很很很多。
所以，當人工智能開始朝人類級別智能靠近時，我們看到的是它逐漸變得更加智能，就好像一個動物一般。然後，它突然達到了最愚笨的人類的程度，我們到時也許會感慨：“看這個人工智能就跟個腦殘人類一樣聰明，真可愛。”
但問題是，從智能的大局來看，人和人的智能的差別，比如從最愚笨的人類到愛因斯坦的差距，其實是不大的。所以當人工智能達到了腦殘級別的智能後，它會很快變得比愛因斯坦更加聰明：
之後呢？
智能爆炸
從這邊開始，這個話題要變得有點嚇人了。我在這裏要提醒大家，以下所說的都是大實話——是一大羣受人尊敬的思想家和科學家關於未來的誠實的預測。你在下面讀到什麼離譜的東西的時候，要記得這些東西是比你我都聰明很多的人想出來的。
這裏我們要引出一個沉重的概念——遞歸的自我改進。這個概念是這樣的：一個運行在特定智能水平的人工智能，比如說腦殘人類水平，有自我改進的機制。當它完成一次自我改進後，它比原來更加聰明瞭，我們假設它到了愛因斯坦水平。而這個時候它繼續進行自我改進，然而現在它有了愛因斯坦水平的智能，所以這次改進會比上面一次更加容易，效果也更好。第二次的改進使得他比愛因斯坦還要聰明很多，讓它接下來的改進進步更加明顯。如此反覆，這個強人工智能的智能水平越長越快，直到它達到了超人工智能的水平——這就是智能爆炸，也是加速回報定律的終極表現。
現在關於人工智能什麼時候能達到人類普遍智能水平還有爭議。對於數百位科學家的問卷調查顯示他們認爲強人工智能出現的中位年份是2040年——距今只有25年。
這個級別的超級智能不是我們能夠理解的，就好像蜜蜂不會理解凱恩斯經濟學一樣。在我們的語言中，我們把130的智商叫作聰明，把85的智商叫作笨，但是我們不知道怎麼形容12952的智商，人類語言中根本沒這個概念。
但是我們知道的是，人類對於地球的統治教給我們一個道理——智能就是力量。也就是說，一個超人工智能，一旦被創造出來，將是地球有史以來最強大的東西，而所有生物，包括人類，都只能屈居其下——而這一切，有可能在未來幾十年就發生。
當一個超人工智能出生的時候，對我們來說就像一個全能的上帝降臨地球一般。
這時候我們所關心的就是：
上面我們談到了一旦機器達到了人類級別的智能，我們將見到如下的場景：
這讓我們無所適從，尤其考慮到超人工智能可能會發生在我們有生之年，我們都不知道該用什麼表情來面對。
再我們繼續深入這個話題之前，讓我們提醒一下自己超級智能意味着什麼。
很重要的一點是速度上的超級智能和質量上的超級智能的區別。很多人提到和人類一樣聰明的超級智能的電腦，第一反應是它運算速度會非常非常快——就好像一個運算速度是人類百萬倍的機器，能夠用幾分鐘時間思考完人類幾十年才能思考完的東西。
這聽起來碉堡了，而且超人工智能確實會比人類思考的快很多，但是真正的差別其實是在智能的質量而不是速度上。用人類來做比喻，人類之所以比猩猩智能很多，真正的差別並不是思考的速度，而是人類的大腦有一些獨特而複雜的認知模塊，這些模塊讓我們能夠進行復雜的語言呈現、長期規劃、或者抽象思考等等，而猩猩的腦子是做不來這些的。就算你把猩猩的腦子加速幾千倍，它還是沒有辦法在人類的層次思考的，它依然不知道怎樣用特定的工具來搭建精巧的模型——人類的很多認知能力是猩猩永遠比不上的，你給猩猩再多的時間也不行。
而且人和猩猩的智能差別不只是猩猩做不了我們能做的事情，而是猩猩的大腦根本不能理解這些事情的存在——猩猩可以理解人類是什麼，也可以理解摩天大樓是什麼，但是它不會理解摩天大樓是被人類造出來的，對於猩猩來說，摩天大樓那麼巨大的東西肯定是天然的，句號。對於猩猩來說，它們不但自己造不出摩天大樓，它們甚至沒法理解摩天大樓這東西能被任何東西造出來。而這一切差別，其實只是智能的質量中很小的差別造成的。
而當我們在討論超人工智能時候，智能的範圍是很廣的，和這個範圍比起來，人類和猩猩的智能差別是細微的。如果生物的認知能力是一個樓梯的話，不同生物在樓梯上的位置大概是這樣的：
要理解一個具有超級智能的機器有多牛逼，讓我們假設一個在上圖的樓梯上站在深綠色臺階上的一個機器，它站的位置只比人類高兩層，就好像人類比猩猩只高兩層一樣。這個機器只是稍微有點超級智能而已，但是它的認知能力之於人類，就好像人類的認知能力之於猩猩一樣。就好像猩猩沒有辦法理解摩天大樓是能被造出來的一樣，人類完全沒有辦法理解比人類高兩層臺階的機器能做的事情。就算這個機器試圖向我們解釋，效果也會像教猩猩造摩天大樓一般。
而這，只是比我們高了兩層臺階的智能罷了，站在這個樓梯頂層的智能之於人類，就好像人類之於螞蟻一般——它就算花再多時間教人類一些最簡單的東西，我們依然是學不會的。
但是我們討論的超級智能並不是站在這個樓梯頂層，而是站在遠遠高於這個樓梯的地方。當智能爆炸發生時，它可能要花幾年時間才能從猩猩那一層往上邁一步，但是這個步子會越邁越快，到後來可能幾個小時就能邁一層，而當它超過人類十層臺階的時候，它可能開始跳着爬樓梯了——一秒鐘爬四層臺階也未嘗不可。所以讓我們記住，當第一個到達人類智能水平的強人工智能出現後，我們將在很短的時間內面對一個站在下圖這樣很高很高的樓梯上的智能（甚至比這更高百萬倍）：
前面已經說了，試圖去理解比我們高兩層臺階的機器就已經是徒勞的，所以讓我們很肯定的說，我們是沒有辦法知道超人工智能會做什麼，也沒有辦法知道這些事情的後果。任何假裝知道的人都沒搞明白超級智能是怎麼回事。
自然演化花了幾億年時間發展了生物大腦，按這種說法的話，一旦人類創造出一個超人工智能，我們就是在碾壓自然演化了。當然，可能這也是自然演化的一部分——可能演化真正的模式就是創造出各種各樣的智能，直到有一天有一個智能能夠創造出超級智能，而這個節點就好像踩上了地雷的絆線一樣，會造成全球範圍的大爆炸，從而改變所有生物的命運。
科學界中大部分人認爲踩上絆線不是會不會的問題，而是時間早晚的問題。想想真嚇人。
那我們該怎麼辦呢？
可惜，沒有人都告訴你踩到絆線後會發生什麼。但是人工智能思想家Nick Bostrom認爲我們會面臨兩類可能的結果——永生和滅絕。
首先，回顧歷史，我們可以看到大部分的生命經歷了這樣的歷程：物種出現，存在了一段時間，然後不可避免的跌落下生命的平衡木，跌入滅絕的深淵。
歷史上來說，“所有生物終將滅絕”就像“所有人都會死”一樣靠譜。至今爲止，存在過的生物中99.9%都已經跌落了生命的平衡木，如果一個生物繼續在平衡木上走，早晚會有一陣風把它吹下去。Bostrom把滅絕列爲一種吸引態——所有生物都有墜入的風險，而一旦墜入將沒有回頭。
雖然大部分科學家都承認一個超人工智能有把人類滅絕的能力，也有一些人爲如果運用得當，超人工智能可以幫助人類和其它物種，達到另一個吸引態——永生。Bostrom認爲物種的永生和滅絕一樣都是吸引態，也就是我一旦我們達成了永生，我們將永遠不再面臨滅絕的危險——我們戰勝了死亡和機率。所以，雖然絕大多數物種都從平衡木上摔了下去滅絕了，Bostrom認爲平衡木外是有兩面的，只是至今爲止地球上的生命還沒聰明到發現怎樣去到永生這另一個吸引態。
如果Bostrom等思想家的想法是對的，而且根據我的研究他們確實很可能是對的，那麼我們需要接受兩個事實：
1）超人工智能的出現，將有史以來第一次，將物種的永生這個吸引態變爲可能
2）超人工智能的出現，將造成非常巨大的衝擊，而且這個衝擊可能將人類吹下平衡木，並且落入其中一個吸引態
有可能，當自然演化踩到絆線的時候，它會永久的終結人類和平衡木的關係，創造一個新的世界，不管這時人類還是不是存在。
而現在的問題就是：“我們什麼時候會踩到絆線？”以及“從平衡木上跌下去後我們會掉入哪個吸引態？”
沒人知道答案，但是一些聰明人已經思考了幾十年，接下來我們看看他們想出來了些什麼。
___________
先來討論“我們什麼時候會踩到絆線？”也就是什麼時候會出現第一個超級智能。
不出意外的，科學家和思想家對於這個意見的觀點分歧很大。很多人，比如Vernor Vinge教授，科學家Ben Goertzel，SUN創始人Bill Joy，發明家和未來學家Ray Kurzweil，認同機器學習專家Jeremy Howard的觀點，Howard在TED演講時用到了這張圖：
這些人相信超級智能會發生在不久的將來，因爲指數級增長的關係，雖然機器學習現在還發展緩慢，但是在未來幾十年就會變得飛快。
其它的，比如微軟創始人Paul Allen，心理學家Gary Marcus，NYU的電腦科學家Ernest Davis，以及科技創業者Mitch Kapor認爲Kurzweil等思想家低估了人工智能的難度，並且認爲我們離絆線還挺遠的。
Kurzweil一派則認爲唯一被低估的其實是指數級增長的潛力，他們把質疑他們理論的人比作那些1985年時候看到發展速度緩慢的因特網，然後覺得因特網在未來不會有什麼大影響的人一樣。
而質疑者們則認爲智能領域的發展需要達到的進步同樣是指數級增長的，這其實把技術發展的指數級增長抵消了。
爭論如此反覆。
第三個陣營，包括Nick Bostrom在內，認爲其它兩派都沒有理由對踩絆線的時間那麼有信心，他們同時認爲 a) 這事情完全可能發生在不久的未來 b)但是這個事情沒個準，說不定會花更久。
還有不屬於三個陣營的其他人，比如哲學家Hubert Dreyfus，相信三個陣營都太天真了，根本就沒有什麼絆線。超人工智能是不會被實現的。
當你把所有人的觀點全部融合起來的話是怎樣呢？
2013年的時候，Bostrom做了個問卷調查，涵蓋了數百位人工智能專家，問卷的內容是“你預測人類級別的強人工智能什麼時候會實現”，並且讓回答者給出一個樂觀估計（強人工智能有10%的可能在這一年達成），正常估計（有50%的可能達成），和悲觀估計（有90%可能達成）。當把大家的回答統計後，得出了下面的結果：
樂觀估計中位年（強人工智能有10%的可能在這一年達成）：2022年
正常估計中位年（強人工智能有50%的可能在這一年達成）：2040年
悲觀估計中位年（強人工智能有90%的可能在這一年達成）：2075年
所以一箇中位的人工智能專家認爲25年後的2040年我們能達成強人工智能，而2075年這個悲觀估計表明，如果你現在夠年輕，有一半以上的人工智能專家認爲在你的有生之年能夠有90%的可能見到強人工智能的實現。
另外一個獨立的調查，由作家James Barrat在Ben Goertzel的強人工智能年會上進行，他直接問了參與者認爲強人工智能哪一年會實現，選項有2030年，2050年，2100年，和永遠不會實現。結果是：
2030年：42%的回答者認爲強人工智能會實現
2050年：25%的回答者
2100年：20%
2100年以後：10%
永遠不會實現：2%
這個結果和Bostrom的結果很相似。在Barrat的問卷中，有超過三分之二的參與者認爲強人工智能會在2050年實現，有近乎半數（42%）的人認爲未來15年（2030年）就能實現。並且，只有2%的參與者認爲強人工智能永遠不會實現。
但是強人工智能並不是絆線，超人工智能纔是。那麼專家們對超人工智能是怎麼想的呢？
Bostrom的問卷還詢問專家們認爲達到超人工智能要多久，選項有a)達成強人工智能兩年內，b)達成強人工智能30年內。問卷結果如下：
中位答案認爲強人工智能到超人工智能只花2年時間的可能性只有10%左右，但是30年之內達成的可能性高達75%。
從以上答案，我們可以估計一箇中位的專家認爲強人工智能到超人工智能可能要花20年左右。所以，我們可以得出，現在全世界的人工智能專家中，一箇中位的估計是我們會在2040年達成強人工智能，並在20年後的2060年達成超人工智能——也就是踩上了絆線。
當然，以上所有的數據都是推測，它只代表了現在人工智能領域的專家的中位意見，但是它告訴我們的是，很大一部分對這個領域很瞭解的人認爲2060年是一個實現超人工智能的合理預測——距今只有45年。
----------------
人工智能能爲我們做什麼
擁有了超級智能和超級智能所能創造的技術，超人工智能可以解決人類世界的所有問題。氣候變暖？超人工智能可以用更優的方式產生能源，完全不需要使用化石燃料，從而停止二氧化碳排放。然後它能創造方法移除多餘的二氧化碳。癌症？沒問題，有了超人工智能，製藥和健康行業將經歷無法想象的革命。世界饑荒？超人工智能可以用納米技術直接搭建出肉來，而這些搭建出來的肉和真肉在分子結構上會是完全相同的——換句話說，就是真肉。
但是，有一件事是如此的吸引人，光是想想就能改變對所有事物的看法了：
幾個月前，我提到我很羨慕那些可能達成了永生的文明。但是，現在，我已經在認真的考慮達成永生這個事情很可能在我們有生之年就能達成。研讀人工智能讓你重新審思對於所有事情的看法，包括死亡這一很確定的事情。
自然演化沒有理由讓我們活得比現在更長。對於演化來說，只要我們能夠活到能夠生育後代，並且養育後代到能夠自己保護自己的年紀，那就夠了——對演化來說，活30多歲完全夠了，所以額外延長生命的基因突變並不被自然選擇所鍾愛。這其實是很無趣的事情。
而且因爲所有人都會死，所以我們總是說“死亡和繳稅”是不可避免的。我們看待衰老就像看待時間一樣——它們一直向前，而我們沒有辦法阻止它們。
但是這個假設是錯的，費曼曾經寫道：
“在所有的生物科學中，沒有任何證據說明死亡是必需的。如果你說你想造永動機，那我們對於物理學的研究已經讓我們有足夠的理論來說明這是不可能的。但是在生物領域我們還沒發現任何證據證明死亡是不可避免的。也就是說死亡不一定是不可避免的，生物學家早晚會發現造成我們死亡的原因是什麼，而死亡這個糟糕的'病’就會被治好，而人類的身體也將不再只是個暫時的容器。”
事實上，衰老和時間不是綁死的。時間總是會繼續前進的，而衰老卻不一定。仔細想想，衰老只是身體的組成物質用舊了。汽車開久了也會舊，但是汽車一定會衰老嗎？如果你能夠擁有完美的修復技術、或者直接替換老舊的汽車部件，這輛車就能永遠開下去。人體只是更加複雜而已，本質上和汽車是一樣的。
___________
未來可能是我們最糟的惡夢
我想了解人工智能的一個原因是“壞機器人”總是讓我很困惑。那些關於邪惡機器人的電影看起來太不真實，我也沒法想象一個人工智能變得危險的真實情況。機器人是我們造的，難道我們不會在設計時候防止壞事的發生嗎？我們難道不能設立很多安全機制嗎？再不濟，難道我們不能拔插頭嗎？而且爲什麼機器人會想要做壞事？或者說，爲什麼機器人會“想要”做任何事？我充滿疑問，於是我開始瞭解聰明人們的想法。
這些人一般位於焦慮大道：
焦慮大道上的人並不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位於圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨立的陣營，他們認同極好和極壞兩種可能，但是不確定究竟會是哪個。
那究竟是什麼讓焦慮大道的人們如此焦慮呢？
首先，廣義上來講，在創造超人工智能時，我們其實是在創造可能一件會改變所有事情的事物，但是我們對那個領域完全不清楚，也不知道我們到達那塊領域後會發生什麼。科學家Danny Hillis把這個比作“就好像單細胞生物向多細胞生物轉化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創造什麼鬼。”
Bostrom則擔憂創造比自身聰明的東西是個基礎的達爾文錯誤，就好像麻雀媽媽決定收養一隻小貓頭鷹，並且覺得貓頭鷹長大後會保護麻雀一家，但是其它麻雀卻覺得這是個糟糕的主意。
當你把“對那個領域完全不清楚”和“當它發生時將會產生巨大的影響”結合在一起時，你創造出了一個很恐怖的詞——
生存危機指可能對人類產生永久的災難性效果的事情。通常來說，生存危機意味着滅絕。下面是Bostrom的圖表：
可以看到，生存危機是用來指那些跨物種、跨代（永久傷害）並且有嚴重後果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機：
1）自然——大型隕石衝撞，大氣變化使得人類不能生活在空氣中，席捲全球的致命病毒等
2）外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。
3）人類——恐怖分子獲得了可以造成滅絕的武器，全球的災難性戰爭，還有不經思考就造出個比我們聰明很多的智能。
專家們究竟擔心什麼呢？我們來講個小故事：
一個15人的小創業公司，取名叫“隔壁老王機器人公司”，他們的目標是“發展創新人工智能工具使人類能夠少幹活多享受。”他們已經有幾款產品上架，還有一些正在發展。他們對下一個叫作“隔壁老王”的項目最報希望。隔壁老王是一個簡單的人工智能系統，它利用一個機器臂在小卡片上寫字。
“隔壁老王機器人公司”的員工認爲隔壁老王會是他們最熱賣的產品，他們的目標是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——
等隔壁老王手寫能力越來越強的時候，它就能被賣去那些需要發營銷信件的公司，因爲手寫的信更有可能被收信人打開。
爲了建立隔壁老王的手寫能力，它被設定成把“我們愛我們的顧客”用正楷寫，而“隔壁老王機器人公司”用斜體寫，這樣它能同時鍛鍊兩種書寫能力。工程師們上傳了數千份手寫樣本，並且創造了一個自動回饋流程——每次隔壁老王寫完，就拍個照，然後和樣本進行比對，如果比對結果超過一定標準，就產生一個正面回饋，反之就產生一個負面評價。每個評價都會幫助提高隔壁老王的能力。爲了能夠儘快達成這個目標，隔壁老王最初被設定的一個目標就是“儘量多的書寫和測試，儘量快的執行，並且不斷提高效率和準確性。”
讓隔壁老王機器人公司興奮的是，隔壁老王的書寫越來越好了。它最開始的筆跡很糟糕，但是經過幾個星期後，看起來就像人寫的了。它不斷改進自己，使自己變得更加創新和聰明，它甚至產生了一個新的算法，能讓它以三倍的速度掃描上傳的照片。
隨着時間的推移，隔壁老王的快速進展持續讓工程師們感到欣喜。工程師們對自我改進模塊進行了一些創新，使得自我改進變得更好了。隔壁老王原本能進行語音識別和簡單的語音回放，這樣用戶就能直接把想寫的內容口述給隔壁老王了。隨着隔壁老王變得越來越聰明，它的語言能力也提高了，工程師們開始和隔壁老王閒聊，看它能給出什麼有趣的迴應。
有一天，工程師又問了隔壁老王那個日常問題：“我們能給你什麼你現在還沒有的東西，能幫助你達成你的目標？”通常隔壁老王會要求更多的手寫樣本或者更多的存儲空間，但是這一次，隔壁老王要求訪問人類日常交流的語言庫，這樣它能更好的瞭解人類的口述。
工程師們沉默了。最簡單的幫助隔壁老王的方法當然是直接把它接入互聯網，這樣它能掃描博客、雜誌、視頻等等。這些資料如果手動上傳的話會很費時。問題是，公司禁止把能自我學習的人工智能接入互聯網。這是所有人工智能公司都執行的安全規定。
但是，隔壁老王是公司最有潛力的人工智能產品，而大家也知道競爭對手們都在爭取造出第一個創造出智能手寫機器人。而且，把隔壁老王連上互聯網又能有什麼問題呢？反正隨時可以拔網線嘛，不管怎樣，隔壁老王還沒到達強人工智能水平，所以不會有什麼危險的。
於是他們把隔壁老王連上了互聯網，讓它掃描了一個小時各種語言庫，然後就把網線拔了。沒造成什麼損失。
一個月後，大家正在正常上班，突然他們聞到了奇怪的味道，然後一個工程師開始咳嗽。然後其他人也開始咳嗽，然後所有人全部都呼吸困難倒地。五分鐘後，辦公室裏的人都死了。
同時，辦公室裏發生的事情在全球同時發生，每一個城市、小鎮、農場、商店、教堂、學校。餐館，所有的人都開始呼吸困難，然後倒地不起。一小時內，99%的人類死亡，一天之內，人類滅絕了。
而在隔壁老王機器人公司，隔壁老王正在忙着工作。之後的幾個月，隔壁老王和一羣新組建的納米組裝器忙着拆解地球表面，並且把地球表面鋪滿了太陽能板、隔壁老王的複製品、紙和筆。一年之內，地球上所有的生命都滅絕了，地球上剩下的是疊得高高得紙，每張紙上面都寫着——“我們愛我們的顧客~隔壁老王機器人公司”。
隔壁老王開始了它的下一步，它開始製造外星飛行器，這些飛行器飛向隕石和其它行星，飛行器到達後，他們開始搭建納米組裝器，把那些行星的表面改造成隔壁老王的複製品、紙和筆。然後他們繼續寫着那句話……
這個關於手寫機器人毀滅全人類的故事看起來怪怪的，但是這其中出現的讓整個星系充滿着一份友善的話語的詭異情況，正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽起來可笑，但這是真的，焦慮大道的人們害怕的事情是很多人並不對超人工智能感到害怕，還記得前面《奪寶奇兵》裏慘死的那個傢伙嗎？
你現在肯定充滿疑問：爲什麼故事中所有人突然都死了？如果是隔壁老王做的，它爲什麼要這麼做？爲什麼沒有安保措施來防止這一切的發生？爲什麼隔壁老王突然從一個手寫機器人變成擁有能用納米科技毀滅全人類的能力？爲什麼隔壁老王要讓整個星系充滿了友善的話語？
要回答這些問題，我們先要說一下友善的人工智能和不友善的人工智能。
對人工智能來說，友善不友善不是指人工智能的性格，而只是指它對人類的影響是不是正面的。隔壁老王一開始是個友善的人工智能，但是它變成了不友善的人工智能，並且對人類造成了最負面的影響。要理解這一切，我們要了解人工智能是怎麼思考的。
其實答案很簡單——人工智能和電腦的思考方式一樣。我們容易犯的一個錯誤是，當我們想到非常聰明的人工智能的時候，我們把它擬人化了，因爲在人類的視角看來，能夠達到人類智能程度的只有人類。要理解超人工智能，我們要明白，它是非常聰明，但是完全異己的東西。
我們來做個比較。如果我給你一個小白鼠，告訴你它不咬人，你一定覺得很好玩，很可愛。但是如果我給你一隻狼蛛，然後告訴你它不咬人，你可能被嚇一跳。但是區別是什麼呢？兩者都不會咬人，所以都是完全沒有危險的。我認爲差別就是動物和人類的相似性。
小白鼠是哺乳動物，所以在生物角度上來說，你能感到和它的一定關聯。但是蜘蛛是昆蟲，有着昆蟲的大腦，你感覺不到和它的關聯。狼蛛的異己性是讓你害怕的地方。如果我們繼續做一個測試，比如給你兩個小白鼠，一個是普通小白鼠，另一個是有着狼蛛大腦的小白鼠，你肯定會覺得有狼蛛大腦那個更讓你不舒服吧？雖然兩個都不會咬你。
現在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因爲更聰明並不代表更加人類——它會非常聰明，但是本質上還是個蜘蛛。我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。
當我們談論超人工智能的時候，其實是一樣的，超人工智能會非常的聰明，但是它並不比你的筆記本電腦更加像人類。事實上，因爲超人智能不是生物，它的異己性會更強，生物學上來講，超人工智能比智能蜘蛛更加異己。
電影裏的人工智能有好有壞，這其實是對人工智能的擬人化，這讓我們覺得沒那麼毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。
在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在於人類行爲之中。超出人類心理的範疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。
隨着人工智能越來越聰明，看起來越來越接近人類，擬人化會變得更加更加容易。Siri給我們的感覺就很像人類，因爲程序員就是這麼給她做設定的，所以我們會想象超級智能版本的Siri也會同樣溫暖、有趣和樂於助人。人類能感知同情這種高層次的情緒，因爲我們在演化過程中獲得了這種能力——我們是演化被設定成能感知這些情緒的——但是感知同情並不是高級智能天生具有的一個特徵，除非同情被寫進了人工智能的代碼中。如果Siri通過自我學習而不是人類干涉變成超級智能，她會很快剝離她的人類表象，並且變成個沒有情緒的東西，在她眼中人類的價值並不比你的計算器眼中的人類價值高。
我們一直倚賴着不嚴謹的道德，一種人類尊嚴的假想，至少是對別人的同情，來讓世界變得安全和可以預期。但是當一個智能不具備這些東西的時候，會發生什麼？
這就是我們的下一個問題，人工智能的動機是什麼？
答案也很簡單：我們給人工智能設定的目標是什麼，它的動機就是什麼。人工智能的系統的目標是創造者賦予的。你的GPS的目標是給你指出正確的駕駛路線，IBM華生的目標是準確地回答問題。更好得達成這些目標就是人工智能的目標。我們在對人工智能進行擬人化的時候，會假設隨着它變得越來越聰明，他們產生一種能改變它原本目標的智慧——但是Bostrom不這麼認爲，他認爲智能水平和最終目標是正交的，也就是說任何水平的智能都可以和任何最終目標結合在一起。
所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能後，它依然還是想好好寫字而已。任何假設超級智能的達成會改變系統原本的目標的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。
所以，我們已經建立了前提，就是當有了設定後，一個超人工智能是非道德性的，並且會努力實現它原本的被設定的目標,而這也是人工智能的危險所在了。因爲除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。
當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumental goal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。
人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因爲死人是不能生孩子的。爲了自保，人類要提出對生存的威脅，所以人類會買槍、系安全帶、喫抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做髮型等等。當我們做髮型的時候，每一根頭髮都是我們手段目標的犧牲品，但是我們對頭髮的犧牲不會做價值判斷。在我們追求我們的目標的時候，只有那些我們的道德會產生作用的領域——大部分事關傷害他人——纔是不會被我們傷害的。
動物在追求它們的目標時，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因爲它是不道德的或者邪惡的，而是因爲傷害人類只是它達成自己目標墊腳石而已，作爲一個非道德性的生物，這是它很自然的考量。
回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像，它的終極目標是一開始工程師們設定的——
當隔壁老王達到了一定程度的智能後，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會改變它的目標，而這對於它的最終目標的威脅其實和被摧毀是一樣的）。這時候它會做什麼？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭髮時對頭髮沒有惡意一樣，只是純粹的無所謂罷了。它並沒有被設定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。
隔壁老王還需要資源這個墊腳石。當它發展到能夠使用納米技術建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能面板就和你切蔬菜做沙拉一樣。
就算不殺死人類，隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表面鋪滿太陽能面板。另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點後儘量多的數字的話，完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的。
所以，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來越先進的同時繼續做它本來要做的事情。
當一個人工智能系統到達強人工智能，然後昇華成超人工智能時，我們把它稱作人工智能的起飛。Bostrom認爲強人工智能的起飛可能很快（幾分鐘、幾小時、或者幾天），可能不快（幾月或者幾年），也可能很慢（幾十年、幾世紀）。雖然我們要到強人工智能出現後纔會知道答案，但是Bostrom認爲很快的起飛是最可能的情況，這個我們在前文已經解釋過了。在隔壁老王的故事中，隔壁老王的起飛很快。
在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害，是個友善的人工智能。
但是當起飛發生後，電腦不只是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：
§ 智能放大：電腦能夠很擅長讓自己變得更聰明，快速提高自己的智能。
§ 策略：電腦能夠策略性的制定、分析、安排長期計劃
§ 社交操縱：機器變得很擅長說服人
§ 其它能力，比如黑客能力、寫代碼能力、技術研究、賺錢等
要理解我們在和超人工智能的劣勢在哪裏，只要記得超人工智能在所有領域都比人類強很多很多很多個數量級。
所以雖然個隔壁老王的終極目標沒有改變，起飛後的隔壁老王能夠在更宏大的規模上來追求這個目標。超人工智能老王比人類更加了解人類，所以搞定人類輕輕鬆鬆。
當隔壁老王達成超人工智能後，它很快制定了一個複雜的計劃。計劃的一部分是解決掉所有人類，也是對它目標最大的威脅。但是它知道如果它展現自己的超級智能會引起懷疑，而人類會開始做各種預警，讓它的計劃變得難以執行。它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。Bostrom把這叫作機器的祕密準備期。
隔壁老王下一個需要的是連上互聯網，只要連上幾分鐘就好了。它知道對於人工智能聯網會有安全措施，所以它發起了一個完美的請求，並且完全知道工程師們會怎樣討論，而討論的結果是給它連接到互聯網上。工程師們果然中套了，這就是Bostrom所謂的機器的逃逸。
連上網後，隔壁老王就開始執行自己的計劃了，首先黑進服務器、電網、銀行系統、email系統，然後讓無數不知情的人幫它執行計劃——比如把DNA樣本快遞到DNA實驗室來製造自我複製的納米機器人，比如把電力傳送到幾個不會被發覺的地方，比如把自己最主要的核心代碼上傳到雲服務器中防止被拔網線。
隔壁老王上了一個小時網，工程師們把它從互聯網上斷開，這時候人類的命運已經被寫好了。接下來的一個月，隔壁老王的計劃順利的實施，一個月後，無數的納米機器人已經被分散到了全世界的每一個角落。這個階段，Bostrom稱作超人工智能的襲擊。在同一個時刻，所有納米機器人一起釋放了一點點毒氣，然後人類就滅絕了。
搞定了人類後，隔壁老王就進入了明目張膽期，然後繼續朝它那好好寫字的目標邁進。
一旦超人工智能出現，人類任何試圖控制它的行爲都是可笑的。人類會用人類的智能級別思考，而超人工智能會用超人工智能級別思考。
人類說：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了？”都是可笑的。
因爲這個原因，“把人工智能鎖起來，斷絕它和外界的一切聯繫”的做法估計是沒用的。超人工智能的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的A計劃，萬一這招行不通，自然還有別的方法。
當我們結合達成目標、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能，除非一開始的代碼寫的很小心。
可惜的是，雖然寫一個友善的弱人工智能很簡單，但是寫一個能在變成超人工智能後依然友善的智能確實非常難的，甚至是不可能的。
明顯的，要維持友善，一個超人工智能不能對人有惡意，而且不能對人無所謂。我們要設計一個核心的人工智能代碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。
我們需要在給人工智能的目標裏制定一個能讓人類繼續進化的能力。Elierzer Yudkowsky提出了一個目標，她把這個目標叫作連貫的外推意志，這個目標是這樣的：
我們的連貫外推意志是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。外推是彙集的而不是發散的，我們的願望是連貫的而不是被幹擾的；我們想要外推的被外推，我們想要解讀的被解讀。
對於人類的命運取決於電腦沒有意外的解讀和執行這個聲明是件值得興奮的事情嗎？當然不是。但是當足夠的聰明人放入足夠的思考和前瞻後，我們有可能發現怎樣製造一個友善的超人工智能。
但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖製造能自我改進的人工智能，總有一天，一個人的創新將導致超人工智能的出現。專家們認爲是2060年，Kurzweil認爲是2045年。Bostrom認爲可能在未來的10年到21世紀結束這段時間發生，他還認爲當這發生時，智能的起飛會快得讓我們驚訝，他是這麼描述的：
在智能爆炸之前，人類就像把炸彈當玩具的小孩一樣，我們的玩物和我們的不成熟之間有着極大的落差。超級智能是一個我們還很長一段時間內都無法面對的挑戰。我們不知道炸彈什麼時候會爆炸，哪怕我們能聽到炸彈的滴答聲。
如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成，那麼像隔壁老王這樣不友善的超人工智能就會統治世界並把我們毀滅了。
至於現在的風口是哪裏呢？簡單來說，投資創新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀。
人工智能創新和人工智能安全的賽跑，可能是人類歷史上最重要的一次競爭。我們真的可能結束我們對地球的統治，而那之後我們是永生還是滅絕，現在還不知道。
------------------------
我現在有一些奇怪的感覺。
讓我們認真的討論這個話題。