當新車引入世界時，必須透過各種安全測試，不僅要滿足政府規定，還要滿足公眾的期望。事實上，安全已成為購車者的最大賣點。
這不僅僅是汽車。無論從家電到飛機的最新一代技術如何，製造商都知道客戶希望他們的產品從開始到結束都是安全的。
人工智慧也不例外。所以，面對這一點，哈佛大學心理學家約書亞·格林（Joshua Greene）描述道，“安全原則”似乎是“不可思議的事”。人工智慧產品傷害其所有者或其他人顯然不符合任何人的利益。但是，正如格林和其他研究人員在下面強調的那樣，這個原則比起初看起來要複雜得多。
康涅狄格大學哲學家蘇珊·施耐德（Susan Schneider）說，“顯然這很重要，但是她表示我們不確定自己能否相信系統越來越聰明。她指出，在一定程度的智力水平上，人工智慧將能夠重寫自己的程式碼，並且透過超級智慧系統“我們甚至可能無法理解該程式。”
什麼是AI安全？
這一原則成為人工智慧安全研究計劃的核心：我們如何才能確保為了學習如何修改自己的行為而設計的技術的安全性？
人工智慧的設計可以從與周圍環境的相互作用中學習，並相應地改變其行為，從而為人類提供難以置信的益處。因為人工智慧可以比人們更有效地解決這些問題，所以每個人都有很大的潛力來改善健康和福利。但不難想象這種技術會如何發生問題。而且我們不需要為了成為一個問題而實現超級智慧。
研究人員可以嘗試從人工智慧中吸取教訓，但目前的設計往往缺乏透明度，今天的人工智慧本質上是一個黑匣子。人工智慧開發人員不能總是找出人工智慧採取多種行動的方式或原因，而隨著人工智慧變得越來越複雜，這種情況可能會變得越來越難。
不過，Google Brain研究科學家伊恩古德費洛（Ian Goodfellow）很有希望，指出已經在努力解決這些問題。
Goodfellow解釋說：“將傳統安全技術應用於人工智慧為我們提供了實現人工智慧安全的具體途徑。 “如果我們能夠設計一種方法來防止惡意攻擊者造成人工智慧採取不希望的行為，那麼人工智慧更不可能獨立地選擇不需要的行為。
人工智慧安全可能是一個挑戰，但沒有理由相信它是不可逾越的。那麼其他AI專家如何解釋和實施安全原則呢？
什麼是可驗證的？
“可驗證”這個詞引起了許多研究者的關注，成為這一原則的關鍵部分。 IEEE的執行董事John Havens首先考慮了安全原則，他說：“我不知道AI系統是否應該安全可靠。 ......“在整個運作的一生中”實際上是句子中更重要的部分，因為那是關於可持續性和長壽的。
但他接著說：“我最喜歡的部分是"可驗證的"，這是至關重要的。因為這意味著，即使你我不同意什麼是“安全的”，但是我們同意可以驗證，那麼你可以去“這是我的認證，這是我的清單”。 “太好了，謝謝，”我可以看看，說：“哦，我看到你有1-10的東西，但是11-15是怎麼回事？”可以肯定的是這句話的關鍵部分。
AI研究人員Susan Craw指出，這個原則“與透明度有關”。她解釋說，如果系統對於自己如何做事更透明一點，那麼“可能”可能是可證實的。
格林還提到了該原則提出的複雜性和挑戰，他建議： “這取決於”可驗證“的意思。”
可驗證“是指在數學上，在邏輯上證明？這可能是不可能的。 “可驗證”是否意味著你已經採取了一些措施來證明最有可能的結果？如果你談論的是一個災難性結果的小風險，那麼這可能不夠好。
“ 安全和價值調整 對人工智慧安全的任何考慮都必須包括價值觀的調整：我們如何設計人工智慧，使其與人類價值的全球多樣性保持一致，特別是考慮到我們所要求的通常不是我們想要的？
加州理工學院哲學家Patrick Lin告訴我：“安全不僅僅是一個技術問題。 “如果你只是讓人工智慧可以完全符合你設定的任何價值觀，問題是，人們可以有一系列的價值觀，其中有些是不好的。只是匹配AI，將其與您指定的任何值對齊，我認為是不夠的。這是一個好的開始，讓人工智慧安全，這是一個很好的大局目標，而技術元素是其中的重要組成部分。但是我認為安全也意味著政策和規範。
“ 隨著人工智慧越來越接近和超越人的智慧，價值對準問題變得更加安全。
施耐德說：“考慮一下正在為老年護理而開發的日本機器人的例子。 “他們不聰明，現在，重點是外表和運動技能。但想象一下，其中一個機器人實際上是從事老年護理...它必須多工和展現認知靈活性。 ...這提高了對AGI家庭助理的需求。一旦你達到人工智慧的水平，控制機器就更難了。我們甚至不能確定其他人有正確的目標;我們為什麼要認為AGI會有與我們一致的價值觀，更不用說超級智慧了。
“ 定義安全 但也許現在是時候重新考慮安全的定義了，正如林在上面提到的那樣。港方還要求“進一步解釋”安全可靠“的字眼，”這意味著我們需要將定義擴充套件到“身體安全”以外，以“提供更好的福利”。
加州大學伯克利分校的副教授Anca Dragan對“安全”的定義特別感興趣。 Dragan說：“我們都同意我們希望我們的系統安全。 “更有意思的是”安全“是什麼意思，以及什麼是可接受的驗證安全的方法。 “傳統的形式驗證方法證明（在某些假設下）系統將滿足預期的約束條件似乎難以擴充套件到更復雜，甚至學習的行為。而且，隨著人工智慧的發展，這些約束條件應該變得越來越不明確，忘記重要約束變得更容易。 ...我們需要重新思考我們的安全意義，也許從一開始就安全地建設，而不是設計一個有能力的系統，並在之後增加安全性。
你怎麼看？
這對系統安全意味著什麼？這是否意味著車主不受傷害？ “傷害”僅限於身體上的疾病，還是安全還包括財務或情感上的損害？而如果人工智慧被用於自衛或軍方呢？ AI可以傷害攻擊者嗎？我們如何確保機器人或軟體程式或任何其他AI系統在其整個生命週期中保持可驗證的安全性，即使它繼續自行學習和開發？我們願意接受多少風險才能獲得越來越智慧的AI（最終超級智慧）所能帶來的潛在收益？
當新車引入世界時，必須透過各種安全測試，不僅要滿足政府規定，還要滿足公眾的期望。事實上，安全已成為購車者的最大賣點。
這不僅僅是汽車。無論從家電到飛機的最新一代技術如何，製造商都知道客戶希望他們的產品從開始到結束都是安全的。
人工智慧也不例外。所以，面對這一點，哈佛大學心理學家約書亞·格林（Joshua Greene）描述道，“安全原則”似乎是“不可思議的事”。人工智慧產品傷害其所有者或其他人顯然不符合任何人的利益。但是，正如格林和其他研究人員在下面強調的那樣，這個原則比起初看起來要複雜得多。
康涅狄格大學哲學家蘇珊·施耐德（Susan Schneider）說，“顯然這很重要，但是她表示我們不確定自己能否相信系統越來越聰明。她指出，在一定程度的智力水平上，人工智慧將能夠重寫自己的程式碼，並且透過超級智慧系統“我們甚至可能無法理解該程式。”
什麼是AI安全？
這一原則成為人工智慧安全研究計劃的核心：我們如何才能確保為了學習如何修改自己的行為而設計的技術的安全性？
人工智慧的設計可以從與周圍環境的相互作用中學習，並相應地改變其行為，從而為人類提供難以置信的益處。因為人工智慧可以比人們更有效地解決這些問題，所以每個人都有很大的潛力來改善健康和福利。但不難想象這種技術會如何發生問題。而且我們不需要為了成為一個問題而實現超級智慧。
研究人員可以嘗試從人工智慧中吸取教訓，但目前的設計往往缺乏透明度，今天的人工智慧本質上是一個黑匣子。人工智慧開發人員不能總是找出人工智慧採取多種行動的方式或原因，而隨著人工智慧變得越來越複雜，這種情況可能會變得越來越難。
不過，Google Brain研究科學家伊恩古德費洛（Ian Goodfellow）很有希望，指出已經在努力解決這些問題。
Goodfellow解釋說：“將傳統安全技術應用於人工智慧為我們提供了實現人工智慧安全的具體途徑。 “如果我們能夠設計一種方法來防止惡意攻擊者造成人工智慧採取不希望的行為，那麼人工智慧更不可能獨立地選擇不需要的行為。
人工智慧安全可能是一個挑戰，但沒有理由相信它是不可逾越的。那麼其他AI專家如何解釋和實施安全原則呢？
什麼是可驗證的？
“可驗證”這個詞引起了許多研究者的關注，成為這一原則的關鍵部分。 IEEE的執行董事John Havens首先考慮了安全原則，他說：“我不知道AI系統是否應該安全可靠。 ......“在整個運作的一生中”實際上是句子中更重要的部分，因為那是關於可持續性和長壽的。
但他接著說：“我最喜歡的部分是"可驗證的"，這是至關重要的。因為這意味著，即使你我不同意什麼是“安全的”，但是我們同意可以驗證，那麼你可以去“這是我的認證，這是我的清單”。 “太好了，謝謝，”我可以看看，說：“哦，我看到你有1-10的東西，但是11-15是怎麼回事？”可以肯定的是這句話的關鍵部分。
AI研究人員Susan Craw指出，這個原則“與透明度有關”。她解釋說，如果系統對於自己如何做事更透明一點，那麼“可能”可能是可證實的。
格林還提到了該原則提出的複雜性和挑戰，他建議： “這取決於”可驗證“的意思。”
可驗證“是指在數學上，在邏輯上證明？這可能是不可能的。 “可驗證”是否意味著你已經採取了一些措施來證明最有可能的結果？如果你談論的是一個災難性結果的小風險，那麼這可能不夠好。
“ 安全和價值調整 對人工智慧安全的任何考慮都必須包括價值觀的調整：我們如何設計人工智慧，使其與人類價值的全球多樣性保持一致，特別是考慮到我們所要求的通常不是我們想要的？
加州理工學院哲學家Patrick Lin告訴我：“安全不僅僅是一個技術問題。 “如果你只是讓人工智慧可以完全符合你設定的任何價值觀，問題是，人們可以有一系列的價值觀，其中有些是不好的。只是匹配AI，將其與您指定的任何值對齊，我認為是不夠的。這是一個好的開始，讓人工智慧安全，這是一個很好的大局目標，而技術元素是其中的重要組成部分。但是我認為安全也意味著政策和規範。
“ 隨著人工智慧越來越接近和超越人的智慧，價值對準問題變得更加安全。
施耐德說：“考慮一下正在為老年護理而開發的日本機器人的例子。 “他們不聰明，現在，重點是外表和運動技能。但想象一下，其中一個機器人實際上是從事老年護理...它必須多工和展現認知靈活性。 ...這提高了對AGI家庭助理的需求。一旦你達到人工智慧的水平，控制機器就更難了。我們甚至不能確定其他人有正確的目標;我們為什麼要認為AGI會有與我們一致的價值觀，更不用說超級智慧了。
“ 定義安全 但也許現在是時候重新考慮安全的定義了，正如林在上面提到的那樣。港方還要求“進一步解釋”安全可靠“的字眼，”這意味著我們需要將定義擴充套件到“身體安全”以外，以“提供更好的福利”。
加州大學伯克利分校的副教授Anca Dragan對“安全”的定義特別感興趣。 Dragan說：“我們都同意我們希望我們的系統安全。 “更有意思的是”安全“是什麼意思，以及什麼是可接受的驗證安全的方法。 “傳統的形式驗證方法證明（在某些假設下）系統將滿足預期的約束條件似乎難以擴充套件到更復雜，甚至學習的行為。而且，隨著人工智慧的發展，這些約束條件應該變得越來越不明確，忘記重要約束變得更容易。 ...我們需要重新思考我們的安全意義，也許從一開始就安全地建設，而不是設計一個有能力的系統，並在之後增加安全性。
你怎麼看？
這對系統安全意味著什麼？這是否意味著車主不受傷害？ “傷害”僅限於身體上的疾病，還是安全還包括財務或情感上的損害？而如果人工智慧被用於自衛或軍方呢？ AI可以傷害攻擊者嗎？我們如何確保機器人或軟體程式或任何其他AI系統在其整個生命週期中保持可驗證的安全性，即使它繼續自行學習和開發？我們願意接受多少風險才能獲得越來越智慧的AI（最終超級智慧）所能帶來的潛在收益？