回覆列表
-
1 # 福建大老表
-
2 # 深圳生活小助手
好奇心是在2017年的一篇論文中第一次引入的,在今年,該組又此基礎上發表了最新的結果。下面是好奇心模型已經征服的54種遊戲中的截圖
這個模型的縮寫ICM,指的是Intrinstic Curiosity Model。引入好奇心之後,不需要由人來告訴程式目標是什麼,也不需要指出什麼條件下游戲結束或者勝利,僅僅透過好奇心,就可以讓AI學會怎麼通關超級馬里奧。
這裡藍色的部分是好奇心具體實現中的self-supervise模組,給定當前的狀態St以及St+1,先從中提取那些和智慧體有關的特徵,透過神經網路,去最小化對行為at造成的影響的預測。
而模型中紅色的前饋神經網路,則是利用前面的ICM提取出的特徵,最終實現預測下一時刻的壞境的目標,這裡的待最佳化函式類似影象領域常見的MSE誤差,
有了前饋網路提供的對下一時間點的環境中特徵的預測結果,就可以從匯出好奇心用數學表達的形式,下圖中的n類似折線係數,代表了模型有多看重對更遙遠未來的預測準確性。
最後要做的是用一個公式,將上文提到的倆個神經網路的預測目標結合起來,從而使得模型有動力去探索那些自己不熟悉的或者很複雜的環境,因為對未知的探索,哪怕只知道一點點,也能夠極大的降低對未來的預測誤差,同時要促使模型能夠自主的學到那些特徵是和智慧體的行動有關係。
要想了解人類好奇心是靠什麼驅動的必須先知道人類好奇心的產生機制
一、好奇心到底是什麼
1. 靈長類動物有性、食物、居住地三個驅動力,人類不同於靈長類動物的地方就是人類有第四個驅動力:好奇心。動物在灌木叢裡聞來聞去,可能是為了尋找食物,可能是為了看有沒有異性伴侶,還有可能是想找到適合自己住的地方。但人類不同,人類做這件事兒完全有可能只是想知道灌木叢裡有什麼。
2. 好奇心分為消遣性好奇和認知性好奇。消遣性好奇廣泛,淺薄,認知性好奇持續性強,讓人收穫更多。消遣性好奇心會讓兒童目不轉睛地盯著蝴蝶,會讓成年人不停地刷微博和朋友圈的最新訊息。認知性好奇會讓兒童去百科全書上查詢相關知識,會讓成年人專心學習一門學科或一門語言。
3. 好奇心並不是從出生開始就固定不變的,家長可以在孩子咿呀學語的時候給孩子更多的迴應,鼓勵孩子,激發他的好奇心。
【案例】
康奈爾大學的心理學副教授邁克爾?古德斯泰因做過相關的實驗,他讓嬰兒和父母們在一起玩耍,讓父母來教會嬰兒認識圖片,嬰兒看到見過的圖片會伸出手指。邁克爾發現,父母做出的鼓勵性迴應越多,嬰兒就能學會辨識更多的圖片。
二、擁有好奇心為什麼重要
1. 好奇心會讓我們有更深入的閱讀和更準確的提問。
【案例】
查理?芒格會採用多模型結構的工作方式,在面對一項業務的時候,他會從數學、經濟學、工程學、心理學和其他學科的角度一起來審視。這和他平日裡的閱讀習慣緊密相連,他大量閱讀多種學科的書籍,從而獲得了多種學科的視角。
2. 好奇心還可以增加我們在做事過程中的體驗,會讓我們的體驗更豐富,更加享受做事的過程。
【案例】
研究者徵集了100個學生去完成一期健身訓練,想要檢測好奇心在過程中可以起到什麼樣的作用。她們讓一半的學生專注自己的目標,強調結果的重要性;讓另一半的學生專注自己的感受,比如說健身時拉伸鍛鍊是什麼感覺,讓學生們把注意力放到訓練過程中,學生們會對自己的身體感覺產生好奇。結果是,想過程的學生比想結果的學生更享受這次訓練。
三、怎樣才能保持好奇心
1. 廣泛的知識積累
如果你是個音樂家,你必須儲備大量的音樂知識。如果你出生在一個孤島上,從來沒聽過音樂,那你可能會模仿鳥叫,但不太可能寫出第五交響曲。
2. 始終保持對新事物的開放態度,對於新行業和新知識保持求知慾。
【案例】
喬布斯曾被排擠出了自己親手組建的公司。他在離開公司之後,被一項新的數字動畫技術深深吸引。喬布斯買下了這個他感興趣的小部門,還為它成立了獨立的公司。喬布斯成立的這家動畫公司,做出了《玩具總動員》和《怪獸電力公司》這樣的優秀作品,這家公司的名字叫皮克斯。皮克斯的存在,甚至在很長一段時間裡,威脅著迪士尼的生存。
3. 在無聊中發現有趣,始終用有趣的眼光觀察世界和周圍的生活。
【案例】
勞拉?麥金納尼曾是一名在麥當勞打工的普通大學生,在每天早餐的工作時間段裡,她要經手400多個雞蛋,不斷重複把雞蛋敲碎、打散、煎熟、取出的過程,這是一項極其枯燥的工作。但是漸漸地,她開始對雞蛋感興趣,開始思考雞蛋是怎麼凝固的。她突然覺得眼前的每個雞蛋都變成了一個小型戰場,蛋白質在和“熱量”們激烈奮戰,她開始觀察每一個雞蛋。因為雞蛋,她有時候會想到曾經在歷史課上,老師講到的魏瑪時期的德國,一個雞蛋的價格從四分之一德國馬克變成了40億德國馬克。後來,也正是因為雞蛋帶來的啟發,勞拉對培養好奇心、開發興趣有了很深的理解,這也讓她拿到了富布萊特獎學金,攻讀教育學的博士學位。
金句
1. 達爾文在提出進化論之後,進一步說明了,靈長類動物有三個基本的驅動力:性、食物和居住地。但是,人類卻擁有第四個驅動力,就是好奇心。
2. 我們雖然在出生時就有好奇心,但未必能夠一直保持強烈的好奇心,它在我們一生中的每一天都有不一樣的變化,而且這種變化深受環境的影響,尤其在我們的童年時期。
3. 好奇心是一個反饋迴圈系統,就是說好奇心的規律是:得到鼓勵,就會增強;被無視,就會減損。
4. 我們常說結果不重要,過程才重要。實際上,過程才重要是因為當我們把好奇心放到過程中,我們往往會得到更好的結果。
5. 知識還有一種群聚效應,就是說當人擁有了一部分的知識,就會對於暫時還沒有解決辦法的未知世界,產生探索慾望。所以,知識和好奇心恰恰不是對立的。
6. 當我們覺得某個事物無聊的時候,我們通常會怪罪那個事物本身。但實際上,世界的有趣程度取決於你觀察它的角度。