臨界點在自由意志，清楚知道自己是誰。

一個人，如果缺胳膊少腿，只要有意識，人們還是把他當做人來看。

我們極限一點，哪怕他只剩一個腦袋，但是他有意識，他就還是個人。

換到機器人也是一樣，有沒有身體其實不重要，關鍵他有沒有自我意識。意識到自己存在。

一但機器清楚知道自己是誰，那才是可怕的開始。現在充其量只是學得像。

就像一個不會英文的人，透過一本英漢詞典在和外界交流一樣，它不是真正懂英文。只是在使用一本工具書。

我覺得臨界點是在這裡：機器的自我程式設計。通俗點講就是，一但人類開發出可以自我程式設計的機器人，那麼人類便失去了對機器人進化的控制。因為，此時機器人可以自我進化，其迭代速度遠遠大於人類的速度。機器人將很快進化出人類所有的技能和特性。

人類應該未雨綢繆，儘早做些預防性的安排。

比如在設計機器人的時候，必須使用一個零部件，而這個零部件必須由人類以某種複雜的方式生產製作，機器人無法仿製。

比如控制住機器人的能源供給。