其實這個是一種手藝吧,並且同樣是強組,大組和小組各有特點。我是大組呆過,小組也呆過,各有特點,都難以取捨。本身Team Work的話我聽說有些配合的非常好的組(大牛+大牛組合,無打雜拖進度的)能早上九點看論文,晚上就能復現完測一輪,在這先把Team Work放下不表。
如果是一個人做的話,比較不穩定,畢竟假如那天打遊戲打卡住了或者其他情況導致心情極其糟糕(煩躁)就會特別難受,然後就可能理解出現了偏差。這個時候動手多半和作者意圖不合。不過也不排除有的大佬(在這兒就不說名字了),一手啤酒一手鍵盤喝的賊High,然後一口氣寫完全部並且毫無bug,而且好像特麼效果還賊好?(明指Goodfellow.jpg)另外,我認為是否理解,其實對於有些動手能力變態的人而言毫無影響,可以先做出來再對著程式碼理解。
不過其實從一個Nobody到一個徒手用MXNet搭自己的模型,挺快的(deeplearning.ai還有cs231n再加上一些經典結構都懂)一個多月足矣,重要看天分和願不願意自己跳出自己的舒適區。我見過一個月幾乎毫無產出,結果靈感來了之後跟我打電話聊了一晚上,第二天再告訴我【我準備了serveral篇頂會,你看看】。
就熟手而言,一般情況的話,以自己比較熟的CV領域來說吧,很多所謂的【新東西】其實都是排列組合,我自己寫了個小框架,高度整合PyTorch。無非是一個簡單的CV框架,而後有attention有dilate的各種東西作為一種選項等等。PyTorch的API本身還是足夠滿足大多數要求的。比較可怕的是自己嘩啦啦寫了一堆loss,很多情況要結構本身做出大改,網路圖畫出來之後都會寫一半砍掉重來。比如最近幾篇很漂亮的GAN,從CycleGAN這類的東西開始就屬於各種loss滿天飛然後結構做的特別蛋疼。並且有一些loss甚至看不明白意義何在。而一些RL或者TL的東西,會讓人很痛苦,甚至有的TL的研究居然是拍腦門,然後試一下總之就很好用,然後就是不知道為啥。我還特意打個電話問一作,一作直接告訴我說是打遊戲的時候想的(隱私問題,不方便告訴是哪一篇)。。。這種情況你就只能罵娘或者你可以自己幫他想思路。另外其實不是所有論文都能復現的,NIPS甚至有大佬開腔罵人,根本無法復現。
一般的paper不被我貼上bull shit的文章,復現起來三五天還是得要的。但是如果只是那種排列組合,恕我直言如果我沒理解錯的話我可以用2分鐘(這個時間主要取決於以你電腦開IDE的時間以及scp到伺服器上的時間)——真·改幾個引數就做好。然後你就可以優雅的說一句【哦,這篇論文啊?秒了。】。
但是有的時候論文字身有問題,比如說之前在研究的一篇GAN loss,作者嘩啦啦說了很多,然後真正操作的時候就會遇到一種蛋疼的感覺,跑起來之後不收斂,我看著奔放的不得了的loss圖會肉疼。
目的不是復現,而是驗證思想。你會發現很多paper就是bull shit所以不值得你復現,另外一些就是簡單的排列組合出的好效果,我們為他們鼓掌(大哥你們真有錢)。而往往值得復現的好東西,都是一堆的瑣事細節。有的時候寫paper的人都沒意識到漏掉了重點的細節,所以我老闆在做研究的時候警告我——把事情做好的標誌就是別人可以輕鬆的明白。而這些其實對於paper work的要求其實不低。
問題就怕很多人,明明就是灌水,卻非要裝逼,不過我擦居然還能中頂會oral?
這屆XXX不行啊。
其實這個是一種手藝吧,並且同樣是強組,大組和小組各有特點。我是大組呆過,小組也呆過,各有特點,都難以取捨。本身Team Work的話我聽說有些配合的非常好的組(大牛+大牛組合,無打雜拖進度的)能早上九點看論文,晚上就能復現完測一輪,在這先把Team Work放下不表。
如果是一個人做的話,比較不穩定,畢竟假如那天打遊戲打卡住了或者其他情況導致心情極其糟糕(煩躁)就會特別難受,然後就可能理解出現了偏差。這個時候動手多半和作者意圖不合。不過也不排除有的大佬(在這兒就不說名字了),一手啤酒一手鍵盤喝的賊High,然後一口氣寫完全部並且毫無bug,而且好像特麼效果還賊好?(明指Goodfellow.jpg)另外,我認為是否理解,其實對於有些動手能力變態的人而言毫無影響,可以先做出來再對著程式碼理解。
不過其實從一個Nobody到一個徒手用MXNet搭自己的模型,挺快的(deeplearning.ai還有cs231n再加上一些經典結構都懂)一個多月足矣,重要看天分和願不願意自己跳出自己的舒適區。我見過一個月幾乎毫無產出,結果靈感來了之後跟我打電話聊了一晚上,第二天再告訴我【我準備了serveral篇頂會,你看看】。
就熟手而言,一般情況的話,以自己比較熟的CV領域來說吧,很多所謂的【新東西】其實都是排列組合,我自己寫了個小框架,高度整合PyTorch。無非是一個簡單的CV框架,而後有attention有dilate的各種東西作為一種選項等等。PyTorch的API本身還是足夠滿足大多數要求的。比較可怕的是自己嘩啦啦寫了一堆loss,很多情況要結構本身做出大改,網路圖畫出來之後都會寫一半砍掉重來。比如最近幾篇很漂亮的GAN,從CycleGAN這類的東西開始就屬於各種loss滿天飛然後結構做的特別蛋疼。並且有一些loss甚至看不明白意義何在。而一些RL或者TL的東西,會讓人很痛苦,甚至有的TL的研究居然是拍腦門,然後試一下總之就很好用,然後就是不知道為啥。我還特意打個電話問一作,一作直接告訴我說是打遊戲的時候想的(隱私問題,不方便告訴是哪一篇)。。。這種情況你就只能罵娘或者你可以自己幫他想思路。另外其實不是所有論文都能復現的,NIPS甚至有大佬開腔罵人,根本無法復現。
一般的paper不被我貼上bull shit的文章,復現起來三五天還是得要的。但是如果只是那種排列組合,恕我直言如果我沒理解錯的話我可以用2分鐘(這個時間主要取決於以你電腦開IDE的時間以及scp到伺服器上的時間)——真·改幾個引數就做好。然後你就可以優雅的說一句【哦,這篇論文啊?秒了。】。
但是有的時候論文字身有問題,比如說之前在研究的一篇GAN loss,作者嘩啦啦說了很多,然後真正操作的時候就會遇到一種蛋疼的感覺,跑起來之後不收斂,我看著奔放的不得了的loss圖會肉疼。
目的不是復現,而是驗證思想。你會發現很多paper就是bull shit所以不值得你復現,另外一些就是簡單的排列組合出的好效果,我們為他們鼓掌(大哥你們真有錢)。而往往值得復現的好東西,都是一堆的瑣事細節。有的時候寫paper的人都沒意識到漏掉了重點的細節,所以我老闆在做研究的時候警告我——把事情做好的標誌就是別人可以輕鬆的明白。而這些其實對於paper work的要求其實不低。
問題就怕很多人,明明就是灌水,卻非要裝逼,不過我擦居然還能中頂會oral?
這屆XXX不行啊。