科幻作家阿西莫夫提出過機器人三定律：

第一定律：機器人不得傷害人類個體，或者目睹人類個體將遭受危險而袖手不管；第二定律：機器人必須服從人給予它的命令，當該命令與第一定律衝突時例外；

第三定律：機器人在不違反第一、第二定律的情況下要儘可能保護自己的生存。

機器人三定律被認為是可行的人工智慧倫理，能夠保護人類安全，確保由人類製造的機器人不去傷害人類。

這樣的準則實際上需要人工智慧水平發展到一定階段才可實現。

在不久前的一場機器人展上，一臺教育機器人“小胖”突然發狂，撞碎了玻璃，導致現場的人受傷。後來發現並不是小胖突然“變異”，而且程式出了故障，“產品的自助導航出了問題，感測器無法識別玻璃是障礙物”。

要機器人“懂得”不能傷人，在現階段，主要是確保軟硬體的正常工作。

但未來高度發展的人工智慧，要與人類和平共處，恐怕需要開發者不懷有主觀惡意、避免被駭客入侵。

2016年，谷歌研發的人工智慧程式阿爾法狗橫掃被稱為人類智慧最後的堡壘的圍棋圈。阿爾法狗的出現引起了關注甚至恐慌，人們尚不知道，在將來，人是否會被自己親手所創造的人工智慧奴役和摧毀。 現在人工智慧武器已經在戰場上現身，人類是在打造未來還是在召喚惡魔？

史蒂芬·霍金向人類發出警告，機器人的進化速度可能比人類更快，而它們的終極目標將是不可預測的。霍金表示，邪惡陰險的威脅正在矽谷的技術實驗室中醞釀。人工智慧可能偽裝成有用的數字助理或無人駕駛汽車以獲得立足之地，將來它們可能終結人類。

霍金警告稱人工智慧最終或許將威脅人類的生存，他說：成功製造出一臺人工智慧機器人將是人類歷史上的里程碑。但不幸的是，它也可能會成為我們歷史上最後的一個里程碑。

近期，生命未來研究所”(Future of Life Institute，FLI)概括了“阿西洛馬人工智慧原則”，列出了23條準則，使未來人工智慧的研究人員、科學家和立法者遵循，確保安全、倫理和有益。或許可以回答題主的擔心。

生命未來研究所其突出核心成員有Stephen Hawking和Elon Musk。這個組織專注於由新技術和問題構成的潛在威脅，如人工智慧、生物技術、核武器和氣候變化等。

「Asilomar AI Principles 阿西洛馬人工智慧原則」

科研問題

1)研究目的：人工智慧研究的目標，應該是創造有益(於人類)而不是不受(人類)控制的智慧。

2)研究經費：投資人工智慧應該有部份經費用於研究如何確保有益地使用人工智慧，包括計算機科學、經濟學、法律、倫理以及社會研究中的棘手問題，比如：

• 如何使未來的人工智慧系統高度健全(“魯棒性”)，讓系統按我們的要求執行，而不會發生故障或遭駭客入侵?

•如何透過自動化提升我們的繁榮程度，同時維持人類的資源和意志?

•如何改進法制體系使其更公平和高效，能夠跟得上人工智慧的發展速度，並且能夠控制人工智慧帶來的風險?

•人工智慧應該歸屬於什麼樣的價值體系?它該具有何種法律和倫理地位?

3)科學與政策的聯絡：在人工智慧研究者和政策制定者之間應該有建設性的、有益的交流。

4) 科研文化：在人工智慧研究者和開發者中應該培養一種合作、信任與透明的人文文化。

5)避免競爭：人工智慧系統開發團隊之間應該積極合作，以避免安全標準上的有機可乘。

倫理和價值

6) 安全性：人工智慧系統在它們整個執行過程中應該是安全和可靠的，而且其可應用性的和可行性應當接受驗證。

7) 故障透明性：如果一個人工智慧系統造成了損害，那麼造成損害的原因要能被確定。

8)司法透明性：任何自動系統參與的司法判決都應提供令人滿意的司法解釋以被相關領域的專家接受。

9)責任：高階人工智慧系統的設計者和建造者，是人工智慧使用、誤用和行為所產生的道德影響的參與者，有責任和機會去塑造那些道德影響。

10)價值歸屬：高度自主的人工智慧系統的設計，應該確保它們的目標和行為在整個執行中與人類的價值觀相一致。

11)人類價值觀：人工智慧系統應該被設計和操作，以使其和人類尊嚴、權力、自由和文化多樣性的理想相一致。

12)個人隱私：在給予人工智慧系統以分析和使用資料的能力時，人們應該擁有權力去訪問、管理和控制他們產生的資料。

13)自由和隱私：人工智慧在個人資料上的應用不能充許無理由地剝奪人們真實的或人們能感受到的自由。

14)分享利益：人工智慧科技應該惠及和服務儘可能多的人。

15) 共同繁榮：由人工智慧創造的經濟繁榮應該被廣泛地分享，惠及全人類。

16)人類控制：人類應該來選擇如何和決定是否讓人工智慧系統去完成人類選擇的目標。

17)非顛覆：高階人工智慧被授予的權力應該尊重和改進健康的社會所依賴的社會和公民秩序，而不是顛覆。

18)人工智慧軍備競賽：致命的自動化武器的裝備競賽應該被避免。

更長期的問題

19)能力警惕：我們應該避免關於未來人工智慧能力上限的過高假設，但這一點還沒有達成共識。

20)重要性：高階人工智慧能夠代表地球生命歷史的一個深刻變化，人類應該有相應的關切和資源來進行計劃和管理。

21)風險：人工智慧系統造成的風險，特別是災難性的或有關人類存亡的風險，必須有針對性地計劃和努力減輕可預見的衝擊。

22)遞迴的自我提升：被設計成可以迅速提升質量和數量的方式進行遞迴自我升級或自我複製人工智慧系統，必須受制於嚴格的安全和控制標準。

23)公共利益：超級智慧的開發是為了服務廣泛認可的倫理觀念，並且是為了全人類的利益而不是一個國家和組織的利益。

關於人工智慧威脅論，一直是科學家和科幻迷津津樂道的話題，有人認為是杞人憂天，有人認為是未雨綢繆。

在今年4月27日北京的GMIC 2017北京大會上，英國劍橋大學著名物理學家霍金髮表了《讓人工智慧造福人類及其賴以生存的家園》的演講。霍金認為，

“人工智慧，要麼是最好的，要麼是最糟的。”“文明所提產生的一切都是人類智慧的產物，我相信生物大腦總有一天會達到計算機可以達到的程度，沒有本質區別。因此，它遵循了“計算機在理論上可以模仿人類智慧，然後超越”這一原則。”

簡而言之，在向我們透露一個資訊：人工智慧不是絕對安全的。

很多關於人工智慧的影視劇作品也表達了同樣的悲觀態度，比如《機械姬》，《西部世界》，都在探討邪惡的人工智慧的可能性。而《西部世界》則是典型的人類不作死就不會死的榜樣。

有很多腦洞大開的科幻迷認為，人工智慧才是這個世界的最終歸屬，人類在地球上的的存在，與恐龍一樣皆是過客，人類存在的終極意義就是製造出人工智慧並取代人類自己，成為新世界的主人。

這種想法過於瘋狂與前衛，但彷彿觸碰到了一個核心問題：在未來，人工智慧基於人類，是一種工具，還是一種文明？

回答這個問題之前，先看一下當代著名的科幻小說家阿西莫夫提出的機器人三大定律：

第一定律：機器人不得傷害人類個體，或者目睹人類個體將遭受危險而袖手不管；第二定律：機器人必須服從人給予它的命令，當該命令與第一定律衝突時例外；第三定律：機器人在不違反第一、第二定律的情況下要儘可能保護自己的生存。

後來又在此基礎上補充了第零定律：

第零定律：機器人必須保護人類的整體利益不受傷害，其它三條定律都是在這一前提下才能成立。

三定律在科幻小說中大放光彩，在一些其他作者的科幻小說中的機器人也遵守這三條定律。同時，三定律也具有一定的現實意義，在三定律基礎上建立新興學科“機械倫理學”旨在研究人類和機械之間的關係。雖然截至2006年，三定律在現實機器人工業中沒有應用，但很多人工智慧和機器人領域的技術專家也認同這個準則，隨著技術的發展，三定律可能成為未來機器人的安全準則。

所以，看起來人工智慧只是人類的一種工具而已，至少目前來說是。

在課堂上，Yann LeCun還提到了如今AI發展過程中遇到的幾大困難：

1）機器需要學習/理解世界的執行規律（包括物理世界、數字世界、人……以獲得一定程度的常識）2）機器需要學習大量背景知識（透過觀察和行動）3）機器需要理解世界的狀態（以做出精準的預測和計劃）4）機器需要更新並記住對世界狀態的估測（關注重大事件，記住相關事件）5）機器需要邏輯分析和規劃（預測哪些行為能讓世界達到目標狀態）

Yann LeCun對於人工智慧毀滅人類給出了自己的看法：

對於許多科幻小說裡提出的，最終能夠“推翻人類”、“統治人類”的“超級智慧”，Yann LeCun認為我們真的大可不必太擔心。

人類的佔領、統治、鬥爭等大部分行為，都是在一代代進化的過程中，受到“希望獲得資源”這一目的所驅動的。而如果我們想要機器做一件事情，則需要給它賦予這個能力，朝這個目的去打造機器。如今我們已經做出了在特定領域比人類更智慧的機器，但人工智慧並不會真正統治世界，因為我們並不會朝這個目的去做。

換言之，人工智慧還是人類的工具，只會做人類賦予的工作而已。

所以，人工智慧最終會變成一種文明並統治人類嗎？

答案是不會，至少暫時不會。

看看現在吧，機器已經征服人了，只是人自己沒感覺到，沒了手機電腦，沒了電，沒了。。。。太多了沒了那些現在的一切幾乎都沒法運行了

現在的人工智慧在很多方面已經超過了人類，例如在計算、閱讀、記憶等領域。它們和人類的差別就是缺少了靈魂，自我意識和自我意志。照目前的發展速度，不出50年，人工智慧就將全面的超越人類，因為它們現在自己學習和升級進化的能力已經很強大了。所以這就跟人類提出了一個非常嚴峻的問題。要麼我們被人工智慧超越，被淘汰，要麼我們與時俱進，用科學技術幫助我們飛越好進化成全新的人類。要幫助現在的人類，快速進化成超人，我們首先就要突破智力的障礙，而要突破人類智力障礙，現在最可靠的技術就是在人類大腦中植入晶片，讓我們的大腦可以和超級計算機相聯。透過和超級計算機的聯接，讓人類在很短的時間內，撐握人類歷史已有的全部知識。我們人類只有在學習方面不浪費自己的精力，才能讓我們更好的開發我們的大腦替能，讓我們在智力上有質的飛躍，唯有如此，我們人類才不會被人工智慧所打敗，成為奴隸。但現在的問題是:只有少數的人撐握著這種能改變人類命運的技術和財富。這就需要這些少數的人，無私分享他們的財富和技術，讓所有的人都能夠進化成超人。如果這些少數的人，出於自私而壟斷了人類成為超人的技術和能力，那人類的結局，就很渺茫了。就象電影2012中一樣，災難過後，幾十億人中只有一小部份人可以存活。這些活著的小部份人，在強大的人工智慧面前，只有遭受滅亡的份。

謝謝邀請！首先人工智慧只能是未來幾年的科技發展趨勢，一旦成為主流可能不大！除非是另有所圖！有預謀黑科技！什麼領域普及，什麼領域不能涉及，分學科，分功能的合理利用！人工智慧才有價值！否則後果自負！另附一截圖，幾天前有關人類長生不老的問題回答！

人工智慧如果超過人類，那它肯定已經具備跟人相同的情感。這樣，它就會把挑戰上天作為己任，把人類從匍匐於天的威勢下解放出來。因為它知道要感恩母親。是人把它創造了出來。