其實你要問的問題，你已經全部說了，你要是能夠找到一個一鳴驚人點子，你直接就是專家了。

可以多看看深度學習框架的原始碼，找出他們的不同點，他們的演算法是如何最佳化的？這樣基本上就可以寫論文了。因為數學功底就是找規律的速度，以及對規律的感知，那是數學家乾的事。

深度學習屬於人工智慧的連線學派。如果你仔細看看或許覺得神經網路和積體電路比較相似。這裡面暗含了一個基本思想：模組化。所以深度學習通俗一點就是“積木遊戲”。所以深度學習創新可以類比積木遊戲創新就主要來源於三個方面：（1）創造新的積木型別。（2）創造新的堆積木的方式，堆出不同形狀。（3）堆積方法用於不同的遊戲場景。

以下從這三個方面展開來講：

拿啟用函式舉例：relu、leakly relu、parameter relu... sigmoid、tanh。按網路基礎構成運算元舉例：全連線fc，卷積conv，迴圈運算元lstm，gru。

嘗試著從數學庫裡面找一個理論，將它運算元化，也許這就是一篇不錯的論文。以前專家總是手工來尋找這樣的運算元，現在google的大神們藉助算力使用automl，autodl來自動尋找運算元，如果你也有功能強大的算力你也可以嘗試著用算力自動尋找新的“積木運算元”，如果這個運算元恰好又是神奇的提高了神經網路的效能，那麼人工智慧深度學習領域又將多一個大神一樣的人，而這個人恰好就是你。

resnet很大程度受益於highway network的啟發，將X直連到下一層這個概念在論文發出來之後其實看看覺得蠻直觀的，但為什麼其他人都想不到呢？這個問題我也在問自己，O(∩_∩)O哈哈~。再舉個例子：Conv層如何堆，是同型Conv堆積還是不同kernel size的conv進行堆積，也許這就是alexnet，googlenet等不同卷積網路的區別。

目前google也藉助遺傳演算法等自動找到新的堆積木的方式，發了很多高水平的論文，如果我告訴大拿科學家他們這僅僅是堆積木的方法不同“無他但手熟爾“，他們會不會生氣打我。

Attention注意力機制最先出現在NLP領域，後來進入了語音識別和合成領域還有CV計算機視覺領域。僅僅是相同的積木用在了不同的場景罷了，最先發現新的應用場景的人成了他所在領域的大神，如果我說大神僅僅是搬運工相信大神也會打我的。

以上三種方式不一定概括全面，但我認為能做到上述任意一條的都是一個不錯的想法。當然"積木遊戲"要玩的好，一定需要“多玩”，所謂多玩意味著多看論文看看人家怎麼玩，玩的好的人怎麼玩，學著按別人的套路玩，最後自己找到一種新玩法，反覆訓練自己的新玩法達到純熟，幹翻一堆老玩家，你就是終極玩家了。

深度學習不簡單，但也不必想的過於複雜。靈活的應用上述提到的三條，隨意創新、大膽實踐做實驗，相信很快你就能發出很多高水平的論文了。

兩句話總結：

1. 實踐是檢驗真理的唯一標準。

2. 無他但手熟爾。