翻譯：Charmve、Born alone°

英文原文：Singularity may not require AGI

自上世紀60年代以來，“奇點”(Singularity)一直是一個話題，即人工智慧能夠以比人類更快的速度改進自己。 I.J. Good在1965年進行了推測{他提出是一種能夠造出更好機器的機器，但我們必須先了解如何做}“一臺超級智慧機器……它可以遠遠超過任何一個人的智力活動，無論他多麼聰明。

詹姆斯·巴拉特(James Barrat)的暢銷書《我們的最終發明》(Our Final Invention)將這個話題從學術界和書呆子變成了主流關注(或者，我應該說是恐懼)。

已故的偉大的史蒂芬·霍金和一直備受爭議的埃隆·馬斯克是對人工智慧最直言不諱的人之一。人工智慧可能是人類文明史上可能發生的最糟糕的事情。而比爾·蓋茨、吳恩達和一些著名的人工智慧研究人員則反對人工智慧成為迫在眉睫的威脅。

然而，對於那些仔細閱讀的人來說，與霍金的大部分分歧實際上並不是說人工智慧永遠不會成為威脅，或者奇點永遠不會出現。大多數爭論都是在時間上的。例如，吳恩達(Andrew Ng)曾用“害怕殺人機器人的崛起就像擔心火星上的人口過剩”來類比人工智慧的奇點威脅。而從人工智慧研究者的角度來看,這是完全正確的,如果你認為它有多快帶我們去增加我們的人口到20億年地球上人類——在過去的二十年裡——你可能會同意無論多麼遙遠的威脅使人口過剩火星,它實際上是可能的(火星比地球小得多,.vs直徑6790公里。地球的12750公里，略多於地球的一半。由於球體的表面積與直徑的平方成正比，火星表面僅略多於地球表面的四分之一。我離題了，但希望你能明白吳恩達的觀點，即這種威脅是真實存在的，只是一個時間問題，也許不是迫在眉睫，但肯定是不可避免的)。

在流行文化中，關於奇點的大多數恐懼是，人工智慧將獲得超過最聰明的人類的整體智慧，從那以後，它將自我完善，並越來越快地拉大差距。對此，很多基於AGI(人工一般智慧)的“安慰”論調都不見了蹤影;我們甚至不知道如何建造AGI，作為一個人工智慧工程師，我同意。

然而，這些爭論本質上是人工智慧的智慧設計理論。這是人工智慧到達奇點的唯一途徑嗎?我們人類花了幾千年的時間來思考我們的智慧是如何產生的，至少我們現在有了一個可能的替代理論——進化。

奇點是否可能不需要觸發AGI ?

進化到奇點

如果你是一個進化論者，它不會打擊你太沉重的，人類是“剛剛發生”的智慧體，沒有其他更聰明的存在繪製的藍圖。我們進化成智慧體的方式是透過隨機突變和自然選擇。因為我們的祖先是“成功的人”，他們的優良基因增加了他們的生存機會，一代又一代，我們的祖先攜帶的可能更好的基因不斷被調查，使我們成為今天的我們。

你也會注意到，自有文字記載的歷史以來，人類文化的發展，我們整個物種的集體智慧的進化速度比以前快得多。因此，轉折點事件以前確實發生過至少一次，沒有另一個超級智慧出現在現場（如果你是一個神創論者，你很可能同意人類在八千年前沒有成為創造者。）

主要的限制?時間。生命形式的進化花了數十億年才有了我們。關鍵因素是過程的成本，大量的相似個體需要存在，受到選擇過程的影響，並在自我繁殖之前存活足夠的時間(一種儲存基因突變的手段)。

人工智慧能進化成奇點嗎?

讓我們從進化需要什麼開始:隨機突變和自然選擇。

自然選擇，就人工智慧而言，它可能始於人類自然選擇人工智慧，而我們甚至可能都沒有意識到我們正在這麼做。

我還記得早期的驗證碼(CAPTCHA，一種用來檢測你是否是機器人的著名測試)，人們問我:“他們說人工智慧公司使用驗證碼來訓練他們的人工智慧，但它怎麼知道我的回答正確?”事實上，它不需要知道你的答案是否正確，大多數人選擇的答案足以讓人工智慧學習。因此，透過智慧工程，允許人類與人工智慧互動，我們就可以訓練它們，或者在自然選擇的情況下，我們可以充當“大自然”，在不知情的情況下選擇更好的人工智慧形式。例如，你觀看或跳過的Netflix標題，將被聚合並用於訓練他們的推薦模型的下一次迭代。

主要的限制是什麼？時間。生命形式的進化花了數十億年才有了我們。關鍵因素是過程的成本，大量的相似個體需要存在，受到選擇過程的影響，並在自我繁殖之前存活足夠的時間(一種儲存基因突變的手段)。

人工智慧能進化成奇點嗎?

讓我們從進化需要什麼開始:隨機突變和自然選擇。

自然選擇，就人工智慧而言，它可能始於人類自然選擇人工智慧，而我們甚至可能都沒有意識到我們正在這麼做。

我還記得早期的驗證碼(CAPTCHA，一種用來檢測你是否是機器人的著名測試)，人們問我:“他們說人工智慧公司使用驗證碼來訓練他們的人工智慧，但它怎麼知道我的回答正確?”事實上，它不需要知道你的答案是否正確，大多數人選擇的答案足以讓人工智慧學習。因此，透過智慧工程，允許人類與人工智慧互動，我們就可以訓練它們，或者在自然選擇的情況下，我們可以充當“大自然”，在不知情的情況下選擇更好的人工智慧形式。例如，你觀看或跳過的Netflix標題，將被聚合並用於訓練他們的推薦模型的下一次迭代。

這聽起來是不是很熟悉?機器學習(我們將使用監督學習作為例子)是一個過程,訓練過程有助於改進演算法中使用的引數的值,執行模型的改進來自當前設定的引數,得到預測結果,比較預測結果和已知的結果(即比較預測如果某些人會讀這篇文章,如果這些人實際上讀),並減少這一差距(即梯度下降)。舊的值被丟棄，取而代之的是更新的、更好的引數集，這些引數將產生更好的預測。

是的，這與進化過程非常相似，儘管它是一種非常特殊的形式。引數值是被選擇的、被丟棄的，或者換句話說，被進化的。選擇是為了與已知結果進行比較。這種特殊的進化形式是非常有限的，它不能改變演算法本身，而只能改變演算法中使用的引數。它只能根據已知的結果進行選擇，不能泛化適用於其他問題。儘管這一侷限性意味著人工智慧無法進化成一般智慧，但令人震驚的事實是，在大多數單一技能測試中，人工智慧的表現即使不是100%，也可以超過99.9%的人類。(電腦在1997年擊敗了人類最好的象棋選手，人工智慧在2019年擊敗了人類最好的圍棋選手)。

失去了過去幾十年在人工智慧研究和工程方面取得的進展。一個特別有趣的例子是GAN -生成對抗網路。如果這聽起來不太熟悉，想想深假，GAN是深假背後的基礎技術。還是隻是深度學習的核心,但透過戰略策劃多個神經網路以特定的方式互動,其中一個生成,和其他試圖判斷這是一個生成的假,然後它將提供反饋生成演算法,將嘗試做得更好來生成另一個(圖片、聲音、影片等),直到敵對的網路不能區分真實和生成的假的。

這個過程是一個大的進步展示智慧工程技術可以極大地促進我們認為的“選擇”可以在人工智慧——它使用我們人類作為“自然”提供樣品,並使用神經網路來找出這些樣本的模式(概括、抽象在這些樣本),然後使用另一個神經網路試圖生成的東西可以融入模式的問題是沒有區別的。

雖然這些都不是完美的，但它們是我們可以利用的一些技巧的例子，以構建一個“選擇”可以以不斷增長的方式發生的環境。一篇可能改變遊戲規則的文章是我一年前寫的:

Is stereoscopic 3D vision what Deep Learning needs to generalize modeling of the reality

立體三維視覺是深度學習推廣現實建模所需要的嗎

(這篇文章對cnn提出了質疑，三巨頭之一說人工智慧對反向傳播的對整體的影響是不可置信的，我們更需要新的手段比如：無監督學習，增加model的可信度）

MIT Builds Robot That Relies on AI to Play Jenga

麻省理工學院製造了一個依靠人工智慧玩疊疊樂的機器人

( 這篇文章講述了一個關於疊疊樂的實驗的故事。

物體感知世界的方式分為主動感知和混合行為2種方式，前者我們透過主動探索收集我們所能感知到的環境的資訊，資訊又分為多種觸覺、視覺、甚至更多可以度量的維度。在後者我們詢問如何有效地推斷和學習多模態行為來控制觸控。這兩個挑戰對於掌握身體互動方式至關重要目前的機器人還是採用視覺的方式，對周圍環境進行感知最佳化決策判斷，沒有對觸覺進行決策，這本質上限制了機器人瞭解世界的速度和靈活性，目前視覺的機器學習方法還是基於傳統統計模型的方法，物件和動作之間的物理關係對映沒有進行很好的利用，這些模型無法學習到物理物件、接觸或力學知識，這種方法需要更多的訓練資料、泛化程度和魯棒性都相對較差。

文章提出了一種新的解決方案，自頂向下或者自下而上的方法，首先在視覺和觸覺的聯合空間建立抽象）

在機器學習方面，我們已經有很多比隨機改進更好的工具，梯度下降法從40年代就開始了。Geoffrey Hinton對深度學習的部分突破是反向傳播，它允許我們更有效地改變引數值。這意味著人工智慧的進化已經比自然進化快了，自然進化中突變大多是隨機發生的。

“聖盃”是基本變異的核心演算法，它超出了演算法使用的引數值或超引數，到目前為止還不實用——儘管研究人員正在朝著這個方向大步邁進。

一些技術已經出現了。即隨機新增層、新增節點、新增退出或其他“技巧”，隨機選擇和應用某些資料預處理或資料工程方法。如果與智慧工程相結合，我們實際上已經非常接近於允許某種程度的自突變人工智慧演算法找出更廣泛的技能集合。

但是更多突破性的技術即將出現，例如:

OpenAI's GPT-3 Can Now Generate The Code For You

OpenAI的GPT-3現在可以為你生成程式碼

雖然這些還很原始，但人工智慧領域的進展無法用我們通常的時間尺度來衡量。如果我們能夠找到將程式碼生成效率與最終結果改進聯絡起來的方法，那麼即使是隨機的程式碼生成也會非常有趣。

真正能讓人工智慧進化變得超高效的，是拋棄能力較弱模型的低成本。

我們可能沒有注意到，但這實際上一直都在發生——我們一直在拋棄不太想要的模型。丟棄小擬合算法或模型的代價接近於零——大部分只是計算的時間和能量代價。真正昂貴的部分實際上是研究人員的時間和更快的計算機用於執行演算法。

考慮到該領域的一些進展，我們可能離將研究人員從人工智慧訓練中解放出來越來越近。這將進一步降低“花在非最優模型上的時間”的成本，使人工智慧進化的總體成本更低。

雖然今天的頂級矽仍然需要人類研究人員的努力，但人工智慧已經是其中的重要組成部分，對於許多領先的頭腦來說，純人工智慧設計的矽是可以想象的。一旦我們允許晶片(以及用於晶片製造的可用資源)根據晶片的效能來評估，而不是(或至少是除了)晶片的商業成功，人工智慧設計的晶片可能會比市場選擇的晶片發展得更快，至少在效能方面是這樣。這意味著人工智慧的進化可能會比我們想象的快得多。對我們來說不幸的是，我們對進化速度的想象是基於我們的祖先所經歷的，這與人工智慧所經歷的可能在很多程度上不同。

AlphaZero幾乎可以透過自學完成任何棋類遊戲，包括一些相當複雜的演算法，拋棄能力較弱的策略(也就是引數)，以及其他一些改進。它在幾周內就自學了圍棋，超過了人類數千年積累的棋類策略。

但更重要的是，我們可以將突變和選擇過程聯絡起來，減少甚至消除人類干預的必要性。這意味著人工智慧奇點可能會透過進化而來，而不需要太多的人工智慧。

事實上，人工智慧很有可能成為超級人工智慧，並在解決任何我們能想到的問題上超越人類，但它可能不具備我們能識別的一般智慧。

如果你看看今天的語言模型，NLP已經可以在語言之間進行翻譯，比99%的人類更好。這種語言模型甚至可以比大多數人更好地生成新聞文章、小說或詩歌等作品。今天的語言模型實際上根本不能理解人類的語言，至少就我們能理解的而言，它們不能。如果你感興趣，看看我的另一篇關於NLP語法和語義的文章:

A Chinese Speaker’s take on the Chinese Room

一位中國演講者對中文教室的看法

人工智慧在沒有AGI的情況下也能透過圖靈測試，這似乎正在成為智慧研究人員的共識。更大的問題是，假設人工智慧的自我進化能在我們擁有AGI之前起飛，它會進化成AGI嗎?我相信答案是肯定的。

假設人工智慧的自然選擇安排涉及現實世界，人工智慧將不可避免地進化為學習物理定律，能量守恆將被人工智慧視為一種“生存”優勢。這意味著人工智慧很快就會弄清楚個體與團體之間的關係。其他人，很可能學習合作和競爭的策略。事實上，它將成為自我意識來適當地平衡能量守恆和進化速度，表明它很可能成為有意識的。

到那時，它會利用自己的意識來智慧地設計自己的未來嗎?很有可能，但很有可能它不會放棄進化，考慮到單行道改進策略的風險可能會導致一條死衚衕，而這可能不是純智慧所能解決的，無論智慧體有多聰明。

這可能不是我們人類需要擔心的。本文的主要觀點是,人工智慧奇點可能不是取決於美國國際集團,它可能起飛前美國國際集團是由人類創造的,僅僅是速度和更好的突變,加上丟棄的低成本的不自然和選擇的能力,足以踢的人工智慧進化成為奇點。

如果是這樣的話，也許努力創造一個與(比隨機)突變相聯絡的自然選擇迴圈是通向奇點的更有可能的路徑，而AGI可能不會成為它的障礙。