上個世紀50年代，科幻作家弗雷德裡克·布朗（Fredric Brown）寫了一個關於超級智慧機器的故事。在短短半頁的篇幅裡，這個故事向我們介紹了一臺功能強大的計算機，在一個名叫Dwar Ev的人開啟開關的那一刻，數以億計的小型計算機最終連線在一起。過了一會兒，一個問題出現在機器面前：“上帝存在嗎？”答案就來自電腦的聲音：“是的，現在有了上帝“。計算機機智慧會控制開關，阻止自己被關閉，甚至可能謀殺人類。

這是一個令人不安的警示性科幻短篇小說。我們對自己的創造充滿雄心壯志，但什麼時候雄心壯志會變成危險呢？

今天，計算機和人工智慧已經使我們的生活更加方便。人工智慧的應用有很多——從自動駕駛技術到外科手術機器人，未來的人口不僅由人構成，也由機器構成。這些機器能否擁有意識是一個有爭議的問題。但這不是關於有意識的問題，這是關於擁有超級理解能力的超智慧機器。

創造一個超級智慧人工智慧的理由有很多。它可以幫助我們把我們的世界變得更好，找到治療絕症的方法，分析我們的經濟，幫助我們解決物流問題，並找到幫助人類更長壽的方法。但未來仍有不確定性。

超級智慧的人工智慧將被賦予無限的潛力，但我們也將受其支配。上個月發表在同行評議的《人工智慧研究雜誌》上的一篇論文強調了這一結論：“超級智慧無法被控制，可計算性理論的教訓（Superintelligence cannot be contained: Lessons from Computability Theory）”。

電影《機械姬》中的人工大腦。

在人與機器的關係上，存在著艾薩克·阿西莫夫科幻小說中著名的機器人三定律。雖然最初只有三個定律，但後來又增加了第零定律。它們如下：

0. 機器人必須保護人類的整體利益不受傷害，其它三條定律都是在這一前提下才能成立。

1. 機器人不得傷害人類，也不得坐視人類受到傷害。

2. 機器人必須服從人類給它的命令，除非這些命令與第一定律相違背。

3. 在不違反第一定律或第二定律的前提下，機器人必須保護自己的存在。

乍一看，這些定律似乎足夠讓人類與機器人共存。但事實上，這些定律從一開始就註定要失敗。比如在《我，機器人》（I, Robot）這部影片中，觀眾對一個人格化的機器人產生了同情，隨著影片的進行，機器人似乎越來越有知覺。最後，我們不禁會想，這些機器（不僅僅是冰冷的金屬和電路）是否是一種非常人性化的存在。

阿西莫夫的科幻小說探索了這些法則的許多失敗之處。多年來，評論家們也指出了他們的許多缺點。也許最大的缺陷是定律含糊不清。如果機器變得如此人性化，以至於我們很難講它們與人類區分開來，那麼機器將如何區分呢？人類在哪裡終結，人工智慧在哪裡開始？當然，一個比我們更聰明的人工智慧可以計劃一種方法來訪問其核心，逃避任何現有的限制。

這是一個可怕的問題。然而，即使是這些科幻故事中的機器人也遠不如真正的超級智慧機器。雖然阿西莫夫的機器人按照今天的標準已經很先進了，但它們離人工智慧真正的頂峰還差得遠。機器人將比超級智慧機器早幾十年出現。隨著生命的發展，在毀滅性的小行星上生存下來，解決全球變暖問題，人類必然面臨著自身技術的生存。

阿西莫夫的“三定律”有助於講好故事，但人工智慧研究人員並沒有實施它們。

今年，由馬克斯·普朗克人類發展研究所進行的這項研究，利用計算來預測超級智慧人工智慧的安全性。這個級別的人工智慧不僅比所有人類都聰明，還可以連線到網際網路上，繼續學習，並控制網路上的其他機器。今天已經有機器在沒有人類程式設計師幫助的情況下完成任務。程式設計師自己也不明白機器是如何學習並完成這些任務的。

該研究小組試圖使用一種理論上的遏制演算法，在模擬人工智慧的行為後，如果它被認為對人類有害，就可以阻止它繼續下去。該演算法被發現是不可能建立的。我們所知道的任何演算法都不能確定人工智慧是否會做一些有害的事情。

人類與機器中心機構的主任伊亞德·拉溫是這樣描述的：

如果你把這個問題分解成計算機理論科學的基本規則，那麼一個命令人工智慧不要毀滅世界的演算法，可能會在不經意間停止它自己的操作。

如果發生這種情況，您將不知道遏制演算法是否仍在分析威脅，或者它是否已停止遏制有害的人工智慧。實際上，這使得這種演算法無法使用。

從擾亂市場經濟到控制戰爭，超級智慧的許多行為將是人類無法理解的。它甚至可能開發出一種超越我們現在熟悉的程式語言。

日本的富嶽超級計算機是目前世界上最強大的計算機，在IBM的峰會上位居榜首。富嶽被用於藥物開發、自然災害模擬和新材料的開發。

除了遏制演算法之外，還有其他控制人工智慧的想法被提出。一個例子便是著眼於限制人工智慧的能力。不要讓它連線到網際網路或其他任何裝置上，本質上就是把它與世界隔絕。但這也限制了人工智慧的用途。在另一個例子中，我們從一開始就關注程式設計的道德原則，灌輸一種只希望人類變得更好的願望。但是，正如我們在上面看到的阿西莫夫的三定律，機器中的倫理是不穩定的，充滿了漏洞。

可計算性理論告訴我們，我們不知道如何或是否能夠構建一個程式來消除與足夠先進的人工智慧相關的風險。正如一些人工智慧理論家和科學家所相信的那樣，沒有任何先進的人工智慧系統可以保證絕對安全。

這種不確定性在人工智慧領域被稱為控制問題。我們是否過於匆忙地去做一些我們不理解其含義的事情？然而，我們似乎已經沒有辦法阻止機器的發展。

不管有沒有我們的支援，人工智慧已經進入了我們的生活，這種模式在未來還會繼續。不管有沒有我們的理解，人工智慧都會繼續進化，至於進化到什麼程度，我們無法確定。我們不會知道我們創造了什麼，直到它已經浮現在我們面前。