人工智慧犯錯

你能想象當自動駕駛汽車接近停車標誌時，但自動駕駛技術並沒有減速，而是加速駛入繁忙的十字路口，後來的一份事故報告顯示，標牌的表面已經粘了四個小矩形廣告。這樣導致欺騙了汽車的車載人工智慧（AI）然後將停止標識誤讀為“限速45”。

此類事件實際上並未發生，但是破壞AI的潛力是非常現實的。研究人員已經展示了如何通過小心地在貼紙上放置貼紙來使AI系統誤讀停車標誌。他們通過在眼鏡或帽子上貼上印刷圖案來欺騙人臉識別系統。通過在音訊中插入噪聲模式，他們欺騙了語音識別系統。

這些只是打破AI中領先的模式識別技術稱為深度神經網路（DNN）的一些示例。事實證明，這些方法在正確分類各種輸入包括影象，語音和有關消費者偏好的資料方面非常成功。它們是日常生活的一部分。然而，當大家通常難以察覺的微小變化的形式對輸入進行更改，可能會混淆周圍最好的神經網路。

加州大學伯克利分校電腦科學博士學位的學生Dan Hendrycks說，這些問題比不完全完美的技術更令人擔憂。像許多科學家一樣，他開始將它們視為DNN基本上是脆性的最驚人的例證：出色地完成了他們的工作，直到進入陌生領域，它們以無法預測的方式失敗。這可能會導致嚴重的問題。深度學習系統越來越多地從實驗室移出現實世界，從駕駛無人駕駛汽車到繪製犯罪和診斷疾病。但是，今年一項研究報告稱，惡意新增到醫學掃描中的畫素可能會使DNN誤檢測癌症。另一個建議是，黑客可以利用這些弱點劫持一個基於線上AI的系統，從而執行入侵者自己的演算法。

在努力找出問題所在時，研究人員發現了許多DNN為何失敗的原因。谷歌的AI工程師標識深度神經網路的基本脆弱性沒有根本的解決方法。要克服這些缺陷，研究人員需要通過額外的能力來增強模式匹配DNN：例如，使AI能夠自己探索世界，編寫自己的程式碼並保留記憶。一些專家認為，這類系統將是AI研究未來十年後才會發生的事情。

2011年，谷歌推出了一種可以識別視訊中的貓的系統，不久之後，出現了一系列基於DNN的分類系統。每個人都在說這太神奇了，計算機終於可以理解世界了。但是AI研究人員知道DNN實際上並不了解世界。它們是在大腦結構上的鬆散建模，是由許多數字神經元組成的多層軟體結構。每個神經元都在其上方和下方的各層中相互連線。這個想法是，原始影象輸入進入底層的功能例如影象中的畫素會觸發其中一些神經元，然後根據簡單的數學規則將訊號傳遞到上一層的神經元。訓練DNN網路涉及到將其暴露於大量示例中，每次調整神經元的連線方式，以便最終頂層可以提供所需的答案-例如始終將獅子的圖片解釋為獅子。即使DNN之前從未看到過該圖片。

問題不僅僅在於圖片識別，任何使用DNN來分類輸入例如語音的AI都可以被誤導。玩遊戲的AI可能會遭到破壞。知道DNN的弱點在哪裡，甚至可以讓黑客接管強大的AI。去年就出現了一個例子，當時谷歌的一個團隊表明，有可能使用對抗性例子，不僅可以迫使DNN犯特定的錯誤，而且還可以對它進行完全重新程式設計，從而有效地重用了接受過一項任務訓練的AI。原則上，可以使用許多神經網路例如那些學習理解語言的神經網路對任何其他計算機程式進行編碼。從理論上講，可以將聊天機器人變成所需的任何程式。

DNN具有強大的功能，因為它們的多層結構意味著它們在嘗試對輸入進行分類時可以選擇輸入的許多不同特徵中的模式。經過訓練以識別飛機的AI可能會發現，諸如色塊，紋理或背景之類的特徵與我們認為重要的事物（如機翼）一樣具有很強的預測能力。但這也意味著輸入中的很小變化就可以將其轉變為AI認為明顯不同的狀態。

答案之一就是在AI上丟擲更多資料。特別是要使AI反覆出現問題情況並糾正其錯誤。在這種“對抗性訓練”形式下，一個網路學會識別物體，第二個網路試圖改變第一個網路的輸入，以免出錯。這樣，對抗性示例便成為DNN訓練資料的一部分。

通過測試DNN在各種對抗性示例中的表現如何，來量化DNN防止出錯的魯棒性。但是，培訓網路抵禦一種攻擊可能會削弱它對其他攻擊的能力。倫敦谷歌的DeepMind的研究人員正在嘗試訓練DNN以免出錯。許多對抗性攻擊通過對輸入的組成部分進行細微調整例如巧妙地更改影象中畫素的顏色而起作用，直到這使DNN陷入錯誤分類為止。健壯的DNN不應因其輸入的微小變化而改變其輸出，並且該屬性可能會在數學上併入網路，從而限制了其學習方式。

解決此問題的一種嘗試是將DNN與符號AI結合起來，這是機器學習之前AI中的主要範例。藉助象徵性的AI，機器可以使用關於世界如何運作的硬編碼規則進行推理，例如其中包含離散的物件，並且它們以各種方式相互關聯。一些研究人員，例如紐約大學的心理學家加里·馬庫斯（Gary Marcus）說，混合AI模型是前進的道路。人工智慧需要在可以探索的更豐富的環境中學習。例如，大多數計算機視覺系統無法識別一罐啤酒是圓柱形的，因為它們是在2D影象的資料集上進行訓練的。這就是從不同角度呈現熟悉的物件來愚弄DNN的原因。在真實或模擬3D環境中學習將有所幫助。

但是，AI的學習方式也需要改變。從某種意義上說，使用強化學習擊敗計算機遊戲的AI已經在人工環境中做到了：通過反覆試驗，它們以允許的方式操縱螢幕上的畫素，直到達到目標為止。但是實際環境比當今大多數DNN訓練所依據的模擬或策展資料集要豐富得多。

即使是最成功的AI系統，例如DeepMind的AlphaZero，其專業領域也非常狹窄。可以訓練AlphaZero的演算法同時玩圍棋和國際象棋，但不能同時玩。重新訓練模型的聯絡和反應，使其能夠在國際象棋上取勝，將重置其以前使用Go的經驗。如果從人的角度考慮問題，那就太荒謬了。人們不會忘記自己如此輕鬆地學到的東西。

AlphaZero在玩遊戲方面的成功不僅取決於有效的強化學習，還在於一種幫助其學習的演算法，以縮小選擇範圍。換句話說，AI被指導如何最好地從其環境中學習。人工智慧的重要下一步將是使DNN能夠編寫自己的此類演算法，而不是使用人類提供的程式碼。用推理能力補充基本模式匹配將使AI更好地處理超出其舒適範圍的輸入。多年來，電腦科學家一直在研究程式綜合，其中計算機可以自動生成程式碼。將該領域與深度學習相結合可能會導致DNN系統更接近人類使用的抽象心理模型。

例如，在機器人技術方面，位於加利福尼亞州門的臉譜網電腦科學家正在教機器人如何最佳地自己探索新環境。例如，這可能涉及選擇在呈現新場景時應朝哪個方向看，以及選擇哪種方式操縱物件以最好地理解其形狀或目的。這個想法是讓AI預測哪個新視點或角度將為其提供最有用的新資料。

該領域的研究人員表示，他們在解決深度學習的缺陷方面正在取得進展，但也承認他們仍在尋求新技術以減輕過程的負擔。深度學習背後沒有太多理論。如果某事不起作用，很難找出原因。整個領域仍然非常有經驗，更多的只需要嘗試一下。

目前，儘管科學家認識到DNN的脆弱性及其對大量資料的依賴，但大多數人都認為該技術將繼續存在。近十年來，人們意識到可以訓練神經網路以及大量的計算資源，從而很好地識別模式，這仍然是一個最主流的模式，因為現在還沒有人知道如何改變從而做的更好。