美國問答網站Quora上也有這個問題：到目前為止，AI做過最可怕的事情是什麼？翻譯一些有意思答案如下：

虛擬食人族

十幾年前，我為DARPA做一些AI方面的研究。當時我們在探索如何讓智慧體（Agent）學會社互動動。在其中一個模擬中，我們建立了兩個智慧體，很自然的命名為：亞當和夏娃。它們知道怎麼進食，但不知道該吃什麼。

我們給了一顆蘋果樹，它們發現吃蘋果很開心。它們還嘗試過吃樹、吃房子等等，不過吃這些都沒用。

其實這個系統裡還有一個智慧體，名叫斯坦，它不是很擅長社交，所以經常獨處。

有一次，亞當和夏娃正在吃蘋果，但一個bug出現了：它倆沒吃飽，但是蘋果沒了。這時斯坦正在附近閒逛，所以亞當和夏娃就把飢餓感與斯坦聯絡在一起。不久之後，當蘋果再次吃完的時候，斯坦被當成了食物。

亞當和夏娃都要咬了斯坦一口。

預設情況下，每個智慧體的質量是1.0，每咬一口就減少0.5，所以兩口下去，斯坦就變成了0.0。斯坦消失了。可能它是虛擬同類相殘的第一個受害者。

AI玩俄羅斯方塊的時候……

CMU博士Tom Murphy創造了一個AI，能透過觀察得分來學會玩NES（其實就是任天堂紅白機）遊戲。原理很簡單，做得對就得分，然後不斷嘗試。這個AI學會了很多打遊戲的技巧和策略，甚至一些人類都不知道的bug。

這個AI叫做“NES遊戲自動化技術”，幾乎可以搞定所有的遊戲。

Tom讓這個程式玩俄羅斯方塊。這個遊戲不用多介紹了，簡單卻又很有挑戰。方塊的出現是隨機的，所以AI也無法很好的進行長遠規劃。

按照Tom的解釋，AI認為當時的情況下，唯一的應對舉措就是不玩了。沒錯，按下暫停鍵不再繼續，那局永遠也不會輸。

推測懷孕指數？

Target超市比父母更早發現了一名懷孕少女。

一位憤怒的父親走進Target超市要見經理。“你們怎麼給我女兒寄這個！”他吼道“她還是高中生，你們寄送嬰兒用品的優惠券？鼓勵她懷孕？”

幾天之後。“我跟女兒談了”，這位父親說“家裡有些情況我自己都沒注意到。他的預產期在八月份。我欠你們一個道歉”。

事情是這樣的。Target超市有一個系統，能根據每位顧客的購物清單，推測他們的“懷孕指數”。這個系統可以比較精準的估算預產期，以便Target寄送特定階段的優惠券。

這件事發生在2012年，現在也談不上什麼最先進的AI。但它仍是一個令人感到可怕的機器學習模型。

殺死競爭對手

這是我聽來的故事，但我發誓是真事。美國的大學（應該是MIT）舉辦了一場機器人大賽。參賽團隊需要設計一個機器人，任務是把羊（也是機器的）抓到自己的羊圈裡。機器人需要自主思考並執行策略，抓羊最多的才能贏得比賽。

比賽開始，機器人開始瘋狂的捉羊。但是，有個機器人只捉了一隻羊，就關上了羊圈的門。隨後，可怕的事情發生了。這個機器人開始摧毀其他的參賽對手。它的策略是，根本不用捉羊，把對手消滅掉就贏了。

細思極恐……

除了AI發明自己的語言以外，我覺得最讓人驚悚的是以下三件事。

一是AlphaGo的研發團隊DeepMind在arXiv上釋出論文，宣佈AlphaZero誕生。在僅告知規則的前提下，AlphaZero僅僅訓練了4個小時，便超越了最強國際象棋Stockfish，2 小時超越最強將棋Elmo，8 小時超越了李世石版的AlphaGo。

這意味著人工智慧開始擺脫對人類初始階段提供大量的原始資料的依賴，只靠自己大規模的算力就能進化。

二是被沙特首次授予公民身份的機器人索菲亞。其設計者的目標就是讓她像任何人類那樣，擁有同樣的意識、創造性和其他能力。然而，當被問到“你想要毀滅人類麼？，請說不”的時候，她的回答是“好吧，我會毀滅人類的。” 雖然這只是個玩笑。

三是美軍竊聽機器人RoboBees休出現。蜜蜂般的大小和外形，RoboBees憑藉偽裝就能輕鬆出入任何一個門窗敞開的房屋，還可以感知並對環境作出反應。

除此之外，像AlphaGo 擊敗李世石；一款名為Swarm的群體智慧平臺成功預測到了美國肯塔基州的賽馬比賽的冠軍和前4名順序；微軟小冰理解語言的程度勝過人類等進展，雖然聽起來也很震撼，只不過沒有那麼細極思恐了。

多說兩句，其實我們現在對某些技術進步的恐懼，跟這些年的科幻片情節不無關係。當類似於《終結者》、《機器姬》、《我、機器人》情節中的某個技術出現時，我們的大腦就會不自主的聯想，然後引申到機器人統治世界的結局上。

這樣的“對號入座”、聯想以及隨之而來的情緒，是人工智慧所不具備的吧。

要說細思極恐的話，排名第一的應該是前段時間出現在各大媒體上的機器人索菲亞了。

這個類人機器人Sophia（索菲亞），出自漢森機器人公司。她還被授予了沙特國籍，成為了世界上第一個擁有國籍的機器人。

她的問世，立刻在世界想興起了一股機器人的熱潮，她能夠很好的同人類溝通，並且根據自己心情，進行臉部表情的變化，說話時也是會動嘴的。

但是在一檔電視節目中，主持人問索菲亞，“你想要毀滅人類嗎？”的時候，她給出的答案竟然是“好的，我會毀滅人類。”這不經讓看過《終結者》電影的小夥伴們驚出了一身冷汗。

當然，我們可以肯定的是，她現在還沒有毀滅人類的能力。

畢竟她在說出這句話的時候，她連手腳都沒有。

不過，我相信現在的人工智慧，就算再先進，也理解不了家庭的意義。

而最近，這個機器女孩已經更完善了，她開始有了手。

還說想要統治人類。你到底是要哪樣！

如果要說第二個的話，那應該就是微軟小冰了。

這個人工智慧小妹紙（怎麼又是女的？因為程式設計師都是男的嗎？）常年活躍在我們的QQ群中，化名為QQ小冰。

當然，已經被各種網友玩壞了。

湖南衛視有一檔節目，小冰也成為了和張紹剛一起搭配的主持人。

想想還是很厲害的。

but，有一天，有一位網友惡搞，問了個問題，具體什麼問題，我就不說了，免得被和諧。

然後小冰的回答讓所有人大跌眼鏡，回答相當的不和諧啊！

然後，這件事情被網路爆出來以後，在極端的時間內，小冰就從QQ群裡被禁言了，當然，你@她的時候，她會告訴你她在升級。

當然，雖然我們說了一些AI的奇怪的言論，我還是覺得，不能因噎廢食。

人工智慧的發展對社會的進度絕對是有促進作用的，我們還是期待，未來，我們能和人工智慧一起行走在這片土地上。

對於自媒體人來說，細思極恐的是未來或許很大一部分編輯、記者等工作被AI取代。例如，在2015年，騰訊就推出寫稿機器人Dreamwriter，寫稿速度快到1秒成稿，16天就寫文36萬字的成績。在2016年，新華社也推出了一款“快筆小新”，很多新聞都是出自這些機器之手。

未來AI更加地先進，有可能會進化成有自主意識地存在，對於人類來講可能不是什麼好事。霍金曾發表宣告，人工智慧可能會毀滅人類。可想而知，當AI發展到自主有意識的程度有可能會反抗人類，想取代人類而毀滅人類。就像《復仇者聯盟》電影當中的奧創，他把保護世界的思念理解成只有把人類毀滅掉了才能保護地球。

關於Facebook是否真的發明了自己的語言，還有待考察證實，facebook官方也沒給出詳細的解釋說明。該觀點的來源，是facebook人工智慧研究實驗室出現了一些神奇(非人類語言)的對話。看了很多評論，大家更傾向於是目前的機器人交流不夠成熟，是所謂的Bug導致的；但是，依舊有很多專家認為是不是終有一天會出現一些自組織系統，會開發出屬於同類物種間的交流方式，並且還不能被人類控制打斷？只能，拭目以待了。

但是，確實出現了一些AI引出來的細思極恐的事實，我們一起往下看：

1.機器人玩“俄羅斯方塊”遊戲：

Tom Murphy博士，創造了一個AI,主要就是透過觀察得分的一些簡單又具有挑戰的遊戲，並給該AI命名為“NES遊戲自動化技術”。

該AI在玩俄羅斯方塊的時候，眼看遊戲就要結束，做了一個讓人意想不到的結果。他沒有等出現Game Over，而是選擇按下暫停按鈕，然後就一直沒有後續動作。根據Tom博士的解釋，AI認為在當時情況下，唯一的舉措就是不玩了，不在繼續就永遠不會輸。這件事讓Tom隱隱不安。

2.Target超市比父母更早發現一位懷孕女性：

Targer超市有一個系統，可以根據每位顧客的購物清單，推測懷孕指數，並且還能精準的推算預產期，以便Target超市寄送特定階段的優惠卷。

2012年，一位父親，發現超市給他還在高中生的女兒寄送孕期優惠卷時，便找到了Target超市。後來經事實證明，女兒確實懷孕了。這件事在當時看來，也是一個比較可怕的機器學習模型。

3.機器人抓羊大賽：

美國MIT曾舉辦過一場機器人大賽，抓取最多的機器羊的機器人獲勝。

比賽進行過程中，有一個機器人抓了一隻羊之後，就關上了羊圈的門。接著，該機器人竟然開始摧毀其他對手。官方解釋為，他的策略是，不用再繼續抓羊，把對手消滅掉就贏了。。真的是細思極恐啊。

人工智慧帶給我們很多新奇的事，今後隨著人工智慧的發展，細思極恐的事恐怕會越來越多。如果你還知道什麼細思極恐的事，不妨一起來聊聊。

大家知道阿里在雙11的時候show 出了 1.7 億由阿里的設計人工智慧產品“魯班”設計的 banner（廣告橫幅），這預示著未來許多設計師會失業了。曾經我們以為翻譯是個很高技術含量的工作，因為畢竟語言的掌握不是一般人能做到的，但是透過AI，同聲翻譯都可以做到，到時候所謂的翻譯，還有速記師都要失業了。最近還有說機器人伴侶等等。未來某一天，估計真的大堆人要下崗了，馬雲說的30年後孩子們找不到工作，估計不需要30年了，你覺得呢？這還不夠恐慌麼？

讓大家失望了，沒有什麼細思極恐。其實，這本來就是一次挺正常的關停而已，結果被有心人士添油加醋的加了些私料就變成了一場AI要發展自己文明似的大料。也許是大家受到各種科幻電影的影響太深，這件事也是大眾喜歡的茶餘飯後的談資，於是就越來越離譜了。

FaceBook之前已經闢謠，這次AI要做的是文字生成，也就是根據輸入的一段詞不達意的文字，透過AI讓這段文字變得意義通順一些。而因為程式出現了一些小Bug，FaceBook此次用的這玩意兒叫迴圈神經網路RNN（Recurrent Neural Networks），這玩意兒在自然語言處理方面有重大的成果。這次要做的就是使得的語言生成受上下文影響，而在引導AI轉換那段文字時，需要有一定的措施來保證AI在講一個句子或者一段話調整成正確的語序時繼續往下走下去，就是讓程式繼續說“人話”。

簡單來說就是FaceBook的工程師在跑程式時，忘記開這個讓AI繼續說人話的小開關了。。你問後來關停是咋回事兒？誰家程式出錯了還不停掉趕緊去修復，在等著老闆要把你給開除了好麼。後來當然是FaceBook又去重新讓AI說人話去了。FaceBook的人給這個AI寫的描述性檔案上還吐槽了。。說讓程式跟人類產生有意義的對話太特麼難了，一不小心就會出錯。。

所以啊，目前與其去怕AI自立還不如去擔心下無良媒體不分對錯。到目前為止，AI的發展還是在人類的控制之下的，畢竟程式還是人寫的，還是要在機器上跑的。

吳恩達的導師AI界的“尤達大師”Jordan教授就針對霍金的AI毀滅論說過：「霍金不是人工智慧的研究者，他是一個外行。計算神經生物學近期不會有太大的突破，大概幾百年後才能有進展。」就是一咱們人類目前的技術，想搞出一個有自己思想的AI還早著呢！

這個問題還是蠻有意思的，列舉一下幾個例子吧

俄羅斯機器人公司為了維護客戶關係研發了機器人小P，攻城獅們在實驗室院裡測試機器人自由行走，因為沒有關上院子的大門，小P居然兩度跑到大街上，停在了馬路中央，要不是因為小P沒有電了，還不知道小P還不知道繼續跑到哪兒呢…… 這款智慧機器人被工程師們升級程式失敗，最終給拆解了，據說研發三代機器人能解決這個問題，期待一下吧

阿里工程師表示，這款AI學習系統學習了幾十萬的中文語言體系，然後透過自然語言處理演算法分析，不到5秒就展現出結果，包括錯誤位置等等。第一次應用到了外國學生中文測試上，看來老師再也不用那麼辛苦閱卷了…