By Nick Bostrom and Matthew van der Merwe

看待人類創造力的一種方式是把球從一個巨大的骨灰盒裡拉出來。球代表了思想、發現和發明。在歷史的程序中，我們取得了許多成績。大多數都對人類有益。其餘的則是各種各樣的灰色陰影: 好與壞的混合體，其淨效應難以估計。

我們還沒有拉出來的是一個黑色的球: 一個總是摧毀發明它的文明的技術。這並不是因為我們在創新方面特別謹慎或明智。我們只是很幸運。但是如果骨灰盒裡有一個黑球怎麼辦？如果科學和技術研究繼續下去，我們最終會把它拔出來，而且我們不能把它放回去。我們可以發明，但我們不能不發明。我們的策略似乎是希望沒有黑球。

幸運的是，人類迄今為止最具破壞性的技術——核武器——極其難以掌握。但是，考慮黑球可能產生的影響的一種方法是考慮如果核反應更容易的話會發生什麼。1933年，物理學家利奧 · 西拉德得到了核連鎖反應的想法。後來的調查顯示，製造原子武器需要數公斤的鈽或高濃縮鈾，這兩種材料的生產都非常困難和昂貴。然而，想象一下一段反事實的歷史，在這段歷史中，西拉德意識到可以用一些簡單的方法制造核彈——比如在廚房的水槽上，用一塊玻璃、一個金屬物體和一個電池。

西拉德會進退兩難。如果他不告訴任何人他的發現，他將無法阻止其他科學家偶然發現它。但是如果他公開了他的發現，他將保證危險知識的進一步傳播。想象一下，西拉德向他的朋友阿爾伯特 · 愛因斯坦(Albert Einstein)吐露心聲，他們決定給美國總統富蘭克林 · d · 羅斯福(Franklin d Roosevelt)寫一封信。羅斯福政府隨後禁止在高度安全的政府設施之外進行所有核物理研究。人們紛紛猜測政府採取這些嚴厲措施的原因。成群的科學家會對這個秘密的危險感到好奇，其中一些人會弄明白的。政府實驗室裡粗心大意或心懷不滿的員工會洩露情報，間諜會把秘密帶到外國首都。即使這個秘密奇蹟般地從未洩露，其他國家的科學家也會自己發現。

或者，美國政府可能會採取行動，在幾個戒備森嚴的軍事倉庫之外，消除所有的玻璃、金屬和電流來源？這種極端措施將遭到強烈反對。然而，在幾個城市上空出現蘑菇雲之後，公眾的觀點將發生轉變。玻璃、電池和磁鐵可能會被查封，它們的生產也會被禁止; 然而，碎片仍會散落在各處，最終它們會落入虛無主義者、勒索者或者那些只是想看看如果他們引爆核裝置會發生什麼的人手中。最終，許多地方將被摧毀或遺棄。持有違禁材料將受到嚴厲懲罰。社群將受到嚴格的監視: 線人網路，安全突襲，無限期拘留。我們只能試圖在沒有電力和其他被認為太危險的必需品的情況下，以某種方式重建文明。

這是一個樂觀的前景。在更悲觀的情況下，法律和秩序將完全崩潰，社會將分裂成發動核戰爭的派系。只有當世界被毀滅到不可能再製造更多的炸彈時，這種分裂才會結束。即使在那時，這種危險的洞察力也會被銘記並傳承下去。如果文明從廢墟中崛起，那麼知識就會埋伏起來，隨時準備在人類重新開始製造玻璃、電流和金屬時發動突襲。而且，即使這些知識被遺忘，當核物理學研究重新開始的時候，它們也會被重新發現。

簡而言之: 我們很幸運，製造核武器變得很困難。那次我們拿出了一個灰色的球。然而，隨著每一次發明行動，人類都會重新進入到甕中。

推測創造力之後至少包含一個黑球。我們稱之為“脆弱世界假說”。直觀的想法是，在某種程度的技術上，文明幾乎肯定會遭到破壞，除非實施非同尋常、史無前例的預防性警務和/或全球治理。我們的主要目的不是為了證明這個假設是正確的——我們認為這是一個開放性的問題，儘管從現有的證據來看，確信這個假設是錯誤的似乎是不合理的。相反，問題的關鍵在於，這一假設有助於我們將有關人類宏觀戰略形勢的重要考慮浮出水面。

上面的場景——稱之為“簡易核武器”——代表了一種潛在的黑球，在那裡個人或小團體很容易造成大規模破壞。鑑於人類性格和環境的多樣性，對於任何輕率、不道德或自我挫敗的行動，總會有一部分人(”末日殘餘”)選擇採取這種行動——無論是出於意識形態上的仇恨、虛無主義的破壞性行為，還是為所認為的不公正進行報復，作為某種敲詐陰謀的一部分，或出於妄想。這種末日殘餘的存在意味著任何足夠簡單的大規模毀滅工具幾乎肯定會導致文明的毀滅。

這是幾種可能的黑球中的一種。第二類技術是為強大的行動者創造造成大規模毀滅的強烈動機的技術。再一次，我們可以回到核武器的歷史: 在原子彈發明之後，美國和蘇聯之間的軍備競賽隨之而來。到1986年，兩國總共擁有6萬多枚核彈頭——足以摧毀人類文明。

幸運的是，在冷戰期間，世界上擁有核武器的超級大國並沒有面臨發動核戰爭的強烈動機。然而，他們確實面臨著這樣做的動機。值得注意的是，存在著採取邊緣政策的動機; 而且，在危機情況下，存在著某種先發制人的動機，以預先制止對手可能進行的解除武裝的罷工。許多政治學家認為，解釋為什麼冷戰沒有導致核浩劫的一個重要因素是，到20世紀60年代中期，兩個超級大國發展了更安全的“第二次打擊”能力。兩個國家的核武庫能夠在對方的核打擊中倖存下來，然後發動報復性攻擊，從一開始就降低了發動攻擊的動機。

但是現在考慮一個反事實的情景——“安全的第一次打擊”——在這種情況下，一些技術使得有可能在敵人作出反應之前將其完全摧毀，使他們無法進行報復。如果存在這樣一種“安全的先發制人”的選擇，相互的恐懼很容易引發一場全面戰爭。即使這兩個國家都不希望對方被摧毀，但其中一方可能感到必須首先發動攻擊，以避免另一方由於害怕而可能進行這種首次攻擊的危險。我們可以假設所涉武器很容易隱藏，從而使反事實情況更加糟糕; 這將使各方無法為削減武器設計一個可靠的核查計劃，以解決其安全困境。

氣候變化可以說明第三種類型的黑球; 讓我們把這種情況稱為更糟糕的全球變暖。在現實世界中，人為排放的溫室氣體很可能導致到2100年平均氣溫上升3.0至4.5攝氏度。但是，想象一下，地球的氣候敏感性引數與實際情況不同，同樣的碳排放會導致比科學家目前預測的更嚴重的氣候變暖——比如上升20度。更糟糕的是，想象一下化石燃料更加豐富，清潔能源的替代品更加昂貴，技術更具挑戰性。

不同於安全的第一次打擊的情節，有一個強大的演員面臨強烈的動機採取一些困難的和巨大的破壞性行動，更糟糕的全球變暖的情節不需要這樣的演員。所需要的只是大量個人無足輕重的行為者——電力使用者、司機——他們都有動機去做一些事情，而這些事情對逐漸演變為文明毀滅性問題的影響微乎其微。這兩種情景的共同點是，激勵機制的存在會鼓勵廣泛的通常有動機的行為者追求毀滅文明的行動。

如果“脆弱世界假說”是正確的，那將是個壞訊息。然而，從原則上講，有幾種方法可以將人類文明從技術黑球中拯救出來。其中之一就是完全停止把球從罐子里拉出來，停止所有的技術發展。然而，這幾乎是不現實的; 而且，即使能夠做到，代價也是極其昂貴的，以至於本身就構成了一場災難。

另一個理論上可能的對策是從根本上重新設計人性，以消除世界末日的殘餘; 我們也可以消除強大行為者中任何冒險進行文明破壞的傾向，即使這樣做符合重要的國家安全利益，也可以消除民眾中任何優先考慮個人便利的傾向，因為這對一些重要的全球利益造成了難以察覺的損害。這種全球偏好的再造似乎很難實現，而且它本身也會帶來風險。值得注意的是，這種偏好再造的部分成功並不一定會減少文明的脆弱性。例如，將末日餘波減少50% 並不能將“簡易核武器”的風險減少一半，因為在許多情況下，任何個人都可以單槍匹馬地摧毀文明。我們只能顯著降低風險，然後，如果世界各地的末日殘餘幾乎完全消失。

這就留下了兩個選擇，以確保世界安全，避免甕中有黑球的可能性: 極其可靠的治安，可以防止任何個人或小團體採取高度危險的非法行動; 第二，強有力的全球治理，可以解決最嚴重的集體行動問題，並確保各國之間的強有力合作——即使它們有強烈的動機背叛協議，或者一開始就拒絕簽署協議。這些措施所解決的治理差距是當代世界秩序的兩個致命弱點。只要他們保持不受保護，人類文明就仍然容易受到技術黑球的攻擊。然而，除非並且直到這樣的發現從骨灰盒中浮現出來，否則我們很容易忽視我們的暴露程度。

讓我們考慮一下防止這些漏洞需要什麼。

想象一下，世界發現自己處於一種類似於“簡易核武器”的情景之中。假設有人發現了一種非常簡單的方法來造成大規模破壞，那麼關於發現的資訊就會傳播開來，而且這些材料無處不在，無法迅速從流通中移除。為了防止破壞，各國需要足夠密切地監視其公民，以便讓他們攔截任何開始準備大規模毀滅行動的人。如果黑球技術具有足夠的破壞性並且易於使用，那麼即使只有一個人逃避監控網路也是完全不可接受的。

要想知道真正密集的監控程度會是什麼樣子，可以看看下面這張“高科技全景監獄”的草圖。每個公民都會被貼上一個“自由標籤”(奧威爾式的暗示當然是有意的，以提醒我們這樣一個系統可以應用的全部方式)。一個自由標籤可能會戴在脖子上，並配備多向攝像頭和麥克風，這樣就可以不斷地將加密的影片和音訊上傳到計算機，計算機可以實時地解釋這些資訊。如果檢測到可疑活動的跡象，訊號將被轉發到幾個“愛國者監測站”中的一個，“自由官員”將審查訊號並決定適當的行動，例如透過自由標籤上的揚聲器與佩戴標籤者聯絡，要求解釋或請求更好的視角。自由官員可以派遣一支快速反應部隊，或者一架警用無人駕駛飛機去調查。如果佩戴者在多次警告後仍拒絕停止違禁活動，當局可以逮捕他或她。市民將不被允許移除標籤，除非在那些安裝了足夠的外部感測器的地方。

原則上，這種系統可以提供複雜的隱私保護，並且可以編輯身份洩露資料，如人臉和姓名，除非調查需要。人工智慧工具和人類監督可以密切監視自由官員，防止他們濫用職權。建造這種全景監獄需要大量的投資。但是，由於相關技術的價格不斷下降，它可能很快在技術上變得可行。

這和在政治上可行不是一回事。然而，一旦一些主要城市被夷為平地，對這些措施的抵制可能會減弱。這項政策可能會得到強有力的支援，為了防止再次發生攻擊，這項政策涉及大規模侵犯隱私和侵犯公民權利，例如每一個真正的密謀者就關押100個無辜的人。但是，如果文明的脆弱性沒有先於或伴隨著這種無可辯駁的證據，這種強有力的預防行動的政治意願可能永遠不會實現。

或者再考慮一下“安全的先發制人”的情況。在這裡，國家行為者面臨著一個集體行動的問題，如果不能解決這個問題，就意味著文明會因為違約而遭到毀滅。有了新的黑球，集體行動問題幾乎肯定會帶來前所未有的極端挑戰——然而各國往往未能解決容易得多的集體行動問題，覆蓋人類從頭到腳的戰爭痕跡就證明了這一點。因此，在預設情況下，文明被摧毀了。然而，有了有效的全球治理，解決方案几乎是微不足道的: 簡單地禁止所有國家以破壞性方式揮舞黑球。(說到有效的全球治理，我們指的是一個只有一個決策實體的世界秩序——“單一實體”。這是一個抽象的條件，可以透過不同的安排來滿足: 一個世界政府; 一個足夠強大的霸權; 一個高度健全的國家間合作體系。每一種安排都有它自己的困難，我們在這裡沒有最好的立場

一些技術黑球可以單獨透過預防性治安來解決，而一些則只需要全球治理。然而，有些人兩者都需要。考慮一個生物技術的黑球，它的威力足夠強大，一次惡意的使用就可能導致一場大流行，這場大流行會殺死數十億人——這是一種“簡易核武器”的情況。在這種情況下，如果哪怕是一個國家沒有建立必要的機制，對其公民進行持續監視，以幾乎完全可靠的方式防止惡意使用，也是不可接受的。拒絕執行必要保障措施的國家將是國際社會的違約成員，類似於”失敗國家”。類似的論點也適用於“更嚴重的全球變暖”之類的情況，在這種情況下，一些國家可能傾向於免費搭乘其他國家付出高昂代價的努力。因此，需要建立一個有效的全球治理機構，迫使每個國家履行自己的職責。

其中一個看起來很有吸引力。一個完全監督的體系，或者一個能夠將自己的意志強加於每個國家的全球治理機構，可能會產生非常糟糕的後果。改進社會控制手段可以幫助保護專制政權免遭叛亂; 監視可以使霸權意識形態或不寬容的多數派觀點強加於生活的所有方面。與此同時，全球治理可以減少國家間競爭和多樣性的有益形式，創造一個只有一個失敗點的世界秩序; 而且，由於遠離個人，這樣的機構可能被認為缺乏合法性，更容易受到官僚僵化或政治偏離公共利益的影響。

然而，儘管我們許多人都難以忍受，但加強監督和全球治理，除了穩定文明脆弱性之外，還可能產生各種良好後果。更有效的社會控制方法可以減少犯罪，減輕對嚴厲刑事處罰的需要。它們可以培養一種信任的氣氛，使新的有益的社會互動形式蓬勃發展。全球治理可以防止各種各樣的國家間戰爭，解決許多環境和其他公共問題，隨著時間的推移，也許還可以培養一種擴大的世界性團結意識。顯然，有很重要的論據支援或反對朝任何一個方向發展，我們在這裡不對這些論據的平衡作出判斷。

那麼時機的問題呢？即使我們開始認真關注發明的骨灰盒裡裝著一個黑球，我們現在可能也不需要建立更強有力的監督或全球治理。也許我們可以稍後再採取這些步驟，如果假設的威脅清楚地出現在我們面前的話。

然而，我們應該質疑觀望方法的可行性。正如我們所見，在整個冷戰期間，這兩個超級大國一直生活在對核毀滅的恐懼之中，這種恐懼可能在任何時候由意外或某種螺旋式危機引發。只要消除所有或大部分核武器，這種風險就會大大降低。然而，半個多世紀過去了，我們仍然只看到有限的裁軍。迄今為止，世界已經證明無法解決這個最明顯的集體行動問題。這並不能讓人相信人類會很快發展出一個有效的全球治理機制，即使是在明顯需要這種機制的情況下。

即使人們對最終能夠達成協議感到樂觀，但國際集體行動問題可能長期無法得到解決。需要時間來解釋為什麼這樣的安排是必要的，需要透過談判達成解決辦法，敲定細節，並設立這樣的安排。但從風險變得清晰可見到穩定措施必須到位的時間間隔可能很短。因此，一旦出現嚴重的脆弱性，依靠自發的國際合作來挽救局面可能是不明智的。

預防性警務的情況在某些方面是類似的。一個高度複雜的全景監獄不可能一夜之間變出來。實施這樣一個系統需要許多年，更不用說建立政治支援所需的時間了。然而，我們面臨的漏洞可能不會提供太多的預警。下週，一組學術研究人員將在《科學》雜誌上發表一篇文章，解釋合成生物學中的一項創新新技術。兩天後，一個受歡迎的博主可能會寫一篇文章，解釋這個新工具如何被任何人用來造成大規模破壞。在這種情況下，強烈的社會控制可能需要立即開啟。當具體的漏洞變得明顯時，開始建立監視架構就為時已晚。

也許我們可以提前開發侵入式監視和實時攔截的能力，但是最初不能最大限度地利用這些能力。透過賦予人類文明極其有效的預防性治安能力，至少我們會更接近於穩定。但是，建立一個“交鑰匙式極權主義”的體系意味著承擔風險，即使這把鑰匙沒有轉動。人們可以試圖透過建立一個旨在防止濫用的“結構化透明”制度來緩解這一問題。該系統只能在多個獨立利益相關者的許可下執行，並且只能提供某些決策者合法需要的具體資訊。對於一個高效且不易被破壞的監控系統來說，可能沒有什麼根本性的障礙。在實踐中實現這一目標的可能性有多大，當然是另一回事。

鑑於針對技術黑球風險的這些潛在的一般性解決方案的複雜性，領導人和決策者最初關注部分解決方案和輕而易舉地修補似乎最有可能出現重大風險的特定領域，如生物技術研究，可能是有意義的。各國政府可以透過增加資金和賦予《生物武器公約》核查權力來加強該公約。當局可以透過開發更好的方法來監測科學家和跟蹤可能有危險的材料和裝置，從而加強對生物技術活動的監督。例如，為了防止自己動手進行基因工程，政府可以實施許可證要求，並限制獲得某些尖端儀器和資訊的機會。與其讓任何人購買他們自己的 DNA 合成機器，這樣的裝置可以被限制在少數嚴密監控的供應商。當局也可以改進舉報系統，以鼓勵舉報潛在的濫用。他們可以告誡那些資助生物學研究的機構，對這類工作的潛在後果要有更廣闊的視野。

儘管如此，在追求這些有限的目標時，我們應該銘記，它們提供的保護只包括特殊情況的子集，而且可能是暫時的。如果你發現自己有能力影響預防性監管或全球治理的宏觀引數，你應該考慮這些領域的根本性變化可能是穩定我們文明、抵禦新出現的技術脆弱性的唯一途徑。

尼克 · 博斯特羅姆是牛津大學哲學系的教授，他是人類未來研究所的主任。他的著作包括《人擇偏見》(2002)和《超級智慧: 路徑、危險、策略》(2014)。

修 · 範德默爾是牛津大學人類未來研究所的研究助理。他為《進口 AI 》週刊撰寫有關人工智慧政策的文章。