0. 寫在前面

「 開始寫這邊總結的時候是三月，紐約成了疫情震中，看著新聞報道里的中央公園，中國城，第五大道，往事浮現，於是開始寫這篇回顧。。陸陸續續一直沒寫完，轉眼年底了，加州疫情更糟。。前幾天看新聞說Cathedral教堂發生槍擊案，震驚。。這教堂就在我當時住的學校公寓旁邊，每天出門都可以看到。。遂又憶起每天上學的時光，於是決定把這篇總結寫完，會分幾個part放出來。快聖誕了，希望疫情早日控制住，一切安好 」

剛上大學時，聽過不少學長學姐分享會；申請博士時，讀了不少留學申請總結。都收穫很大，讓當時啥也不懂的我，瞭解了每場遊戲（如何度過一個充實的本科；如何拿到心儀的PhD offer）的principles：有啥規則，有啥技巧，等等。

因為篇幅限制，有的問題難以講得完善全面，或跟您意見不合，全當看小說，尋個樂子罷了。

1. 萬事開頭難 （第一學期）

1.1 初到紐約

2014年夏天，在北京國際機場，我安慰我媽說，“沒事，明年暑假我就回來啦”，萬萬沒想到，一直忙忙碌碌，一去就是5年……可能是初次留學的興奮，十幾個小時的飛行，感覺很快就過了，到了JFK機場，坐上紐約特色的黃色計程車。去學校路上，先是皇后區的平房，後來到了曼哈頓，深磚紅色的高樓，跟想象中的國際大都市並不大一樣，倒很有歷史厚重感，日後想想也是，紐約也不能到處都如時代廣場那般呀。

接著，辦入住，搞衛生，小憩了一會兒，傍晚出去門口的超市買點吃的；第一次從112街，走到Broadway上，看著熙熙攘攘的外國人面孔，很傻的竟然笑了出來…那會兒自然是極開心的，就是一個毛頭小子，充滿了對未來生活期待的樣子（哎，回不去的青春啊）；當然了，怎麼也沒想到，接下來的一年，會如此艱難……

1.2 差距

開學後一系列事情，一下子讓我清清楚楚地，看到自己跟師兄們比，各個方面有著很大的差距。且不說核心業務能力了，首當其衝自然是語言環境的變化。

一天路上，一小哥對著我說：How are you？我想，這不是新概念英語上的經典對話嗎，難道我真要回傳說中的I’m fine, thank you, and you？從那兒之後，我知道了，how are you就相當於，吃了麼您吶，並不是真的問什麼，而是打招呼，跟say hi差不多，一般回good good就可以了，甚至不回，直接也回對方how are you都行。

然後到了第一天來lab，正好Y來面博後，老闆讓他給個talk，Y希臘口音的英語，再加上講的內容涉及一些專業術語，幾十分鐘我幾乎完全沒聽懂他說什麼；會後跟他一對一meet，更是尷尬的很…後來18年來FB實習，巧了Y是我mentor之一，第一天帶我吃的午飯，我們交流完全無障礙了，他也不記得當年還見過我……我有個朋友總結，剛來時候，跟外國人的交流，是三分靠聽，七分靠猜……現如今，即使是印度口音，只要不是說的特別差的，或者我特別不熟悉的東西，都能通暢交流了。感覺這沒啥技巧，首先要敢說，然後多跟不同的人聊天練習，慢慢就好了，倒不必太過擔心，徒增壓力。但是如果英語不好的話，難以跟外國專家合作，融入核心科研圈子，對長遠的發展耽誤很大，儘量在1-2年內做好這個提升。

1.3 讓老闆知道你在幹活

因為我是本科畢業直博，剛讀博那會兒，思維裡還是預設，導師是教育培養學生的角色，指導學生做出成績；明白但沒有深刻認識到，博士生與導師還有僱傭關係。第一個學期，我主要是跟著師兄們做，跟導師大概一個月meet一次，每週有weekly report。開學時，老闆把我分給一個師兄帶，參與他的專案A，是個很好的學習機會，但是發不了paper。

11月，CVPR投稿的季節，另一個師兄找到我幫忙做專案B，這個專案準備投CVPR，做出來的話可以co-author。於是我那段時間都撲在做B上，終於實現了其中一個核心的模組。CVPR投稿完的那周，正好導師約meet，我想B的事情做完了，下面精力就都是做原本的A了，meet對我來說，主要目的是確定下接下來的plan唄。正好搞CVPR之前，專案A的師兄讓我reproduce一篇nips文章的方法，用到專案A的data上，於是，我準備的slides主要介紹那篇nips和怎麼用到專案A上。結果meeting結束，導師很不高興，覺得我這幾周沒有progress。記得那天導師辦公室沒開燈，冬天下午五點的紐約，天已經黑了，周圍一片黑壓壓的，更顯壓抑。

我當時挺驚訝的，因為原還以為在導師印象中，是我參與了B的CVPR投稿，很impress呢。我後來仔細反思了下，雖然這幾周我對B也算是嘔心瀝血，weekly report裡也有提，但是，一來我只是coauthor，對於B工作整體而言算不上main contributor；二來導師很忙，不能assume對方完全瞭解並且記得你做過的一點一滴。同時，我也明白了這個meeting的目的既是討論research ideas，但也是review progress，我首先得讓導師明白，我這段時間有在好好幹活。現在的我，不會只提專案A之後我想怎麼做，會同時準備一頁slide總結下我對B的貢獻。

1.4 自己的感受沒那麼重要

我們系第一個學期末就要博士資格考試。這個考試，各個學校稱呼不同，大概就是博士生透過這個考試，才證明有能力，qualify繼續讀博士。我們系給大家兩次機會，第一學期末第一次考，沒透過的第三學期末再考一次，要是還沒考過，就只能捲鋪蓋走人了。而且這考試還真不是走過場，每次大概掛三分之一的人，所以真真切切見到周圍有人因為qualify沒過走人的。

我本科學的CS，博士因為fellowship是EE發的，所以在EE系。這可愁壞我了，因為考的是EE的基礎topics，電路，DSP，網路啥的我大都一竅不通。於是第一個學期的課，我選了門DSP，準備好好從頭學。這是硬課，再加上平常主要精力還得放在lab的專案上，第一學期壓力巨大。記得有一天，晚上睡覺做了噩夢，夢到不知什麼怪物，驚醒，醒來想到各種tasks各種due，頓時只想繼續回到夢中，相比而言，還是怪物比較可愛……這時候，只好把自己的感受擱置一邊，累、苦，想這些又有什麼用呢，只能更加平添煩惱。該做什麼就去做，告訴自己幹就完了，結束後反而發現，過程其實也就那樣，有時候我們只是過度看重了自己的感受，誇大了困難的程度，其實自己的感受沒那麼重要，只要身體本身還撐得住。

qualify考試在1月初。12中旬，忙完了期末考試，去Chinatown吃了頓好的，回家看了部電影，然後跟導師請好假，專心複習qualify。大概有三週的複習時間，除了DSP，其他的topics完全從零開始學。後來覺得，這考試的目的，不是考的知識本身，而考的是學習能力。複習的過程是很慘了，時值聖誕節假期，朋友圈各式各樣在佛羅里達坐遊輪的，迪士尼看煙花的，回國火鍋小燒烤的；而那年的紐約還尤其的冷，家裡的暖氣開到最大，還是冷的不行，我只能早出晚歸的去圖書館；路面凍得白花花的，公車開過揚起白沙，從家裡112街到圖書館114街只有5分鐘，但卻那麼漫長；每天幾條褲子疊著穿，有天開始一度冷到零下負十幾度，我剛出門一會兒就趕緊回來，在牛仔褲外面又套了件運動褲……所幸最後考試通過了，小秘告訴我竟然考了第三，震驚，真是功夫不負有心人訥……

1.5 上課沒那麼重要

第一學期，選DSP，純為了考qualify exam修的，跟我日後的研究，基本不搭噶。我第一學期還修了機器學習，機器學習我之前沒有系統學過，學完還是受益良多。但為了達到學分要求，我博士期間，被迫修了14門課，第四年還在上課……我的感覺是，CV是實踐科學，上課沒那麼重要，很多時候甚至是浪費時間。我覺得值得選課去學的，可能就是機器學習，演算法，就夠了。搞CV方向的，與其上門CV，還不如自學網上教程，親身參與幾個專案，學的更快，對書上的知識有更深刻的理解。我覺得上課最大的作用，就是去了解這門學科，有哪些基本的概念和演算法（所謂把unknown unknown變成known unknown），哪天你要用到他們了，需要把known unknown變成known known的時候，知道在Google裡輸入啥關鍵詞去搜。

當然如果有時間，上些基礎型的硬課，自然沒啥；但對於博士生，時間本就緊張，就得做做平衡了，選些seminar的課比較好，一般主要就是讀論文，做project。我後面陸陸續續帶了很多低年級的學生，很多人學期伊始，覺得要多學些知識，選的都是硬課，學期過半，發現作業做不完，科研沒時間，兩頭耽誤，都是後悔不已…

2. 方向比努力重要

2.1 PhD選題

第一學期在課業，科研，qualify考試，適應國外環境，種種碾壓之下，總算過去了……雖然痛苦，但只是工作量大，努力使勁就好了……第二個學期開始，2015年於我，關鍵詞是迷茫，努力努力但怎麼也使不上勁的那種……

第二學期開始，重心主要集中在research上了，跟導師的meeting也從一月一次變成了每週一次，有幸得導師親自調教各種真正做科研的能力了。導師給我定了個新的專案，深度學習下的incremental learning。這其實是個很難的問題，現在5年後來看，都沒有被很好的解決；亦沒有一個標準的benchmark，也就是說，其實大家還沒有定義好這個問題；記得導師那會兒說，if you can formulate this problem，這個問題就已經解決70% 了。

結果忙忙碌碌幾個月，研究了很多文獻，做了很多實驗，還是沒有太大的進展，就是感覺很迷茫了，不知道下一步該幹嘛。幸運的是，到5月份，導師讓我跟師兄一起參加一個叫THUMOS的比賽，這其實又是個新的專案了；開始我還覺得，已經忙不過來了，哪有時間再多一個專案，後來慶幸參與了這次比賽，開始了我做video這個方向的科研生涯。

那會兒video領域，大家主要做classification，而且是幾秒的短影片；THUMOS是長影片，而且不光有action classification task，還要一個task是action detection，檢測你所感興趣片段的開始/結束時間。參加比賽時，我跟著師兄主要搞classification，邊做邊學，上手了處理影片的模型和框架，收穫很大。比賽完後，我發現classification大家搞的火熱，而detection，同樣很重要的一個課題，卻沒有人研究過基於深度學習的方法，於是就有了我的第一篇CVPR文章，收到了很多follow-up。我自己也算是找到了自己的研究方向，不再迷茫。

我覺得這段經歷，對新手很有參考價值，很多時候光努力不夠，方向更重要。新手如何選博士幾年的topic，有兩個問題值得思考：

能不能快速上手？有幾個簡單的評判標準：

state-of-the-art的paper有沒有開源的程式碼？目的是你能迅速復現baseline，熟悉整體pipeline（如怎樣預處理，後處理），加深對實現和細節的理解有沒有對這個topic有hands-on經驗的師兄，或者community裡面approachable的前輩？目的是，當你遇到實現上的細節問題，可以及時諮詢和得到反饋這個topic有沒有比賽，或者標準的benchmark？目的是，有大家已經定義好的資料，實驗setup，評價標準；這樣，你有可以直接比較的baseline，outperform baseline的時候也容易被人認可

能不能有大的impact？這裡我指的是博士期間的大方向，由一系列單項的工作或者paper構成。單篇paper通常有三種類型：（1）First work：開創了一個topic，比如RCNN於object detection（2）Last work：基本解決了一個topic，比如Faster-RCNN，YoLo於object detection（3）Improve型別，介於First和Last之間的。

Last很難，Improve常見但影響力不夠深遠，對於新手而言，博士的早期工作，在有能力做出來和有impact之間的trade-off比較好的，估計是First了，不一定非要是第一篇，只要是某個topic裡面開創性工作的那一批之一，都是不錯的。這個早期工作之後，你會對這個問題哪裡要改進，有很清楚的認識，因為improvement room大，也會有很多ideas。同樣，早期的時候怎麼選這樣一個topic呢：相關的比賽是這一兩年新開的嗎，相關的benchmark是這一兩年出來的嗎，上面的結果提升空間大嗎（現在是20%還是已經80%了）？

2.2 單篇Paper選題

前面說的PhD選題是大方向上的，具體到每一篇paper，選擇的principle和重點則不太一樣。來Facebook後從馬爺爺那知道了一個著名的Heilmeier問題系列，是指導老師們申專案的，我覺得稍微改改，便很適用於我們考慮，某一篇paper的選題，合不合適：

What are you trying to do? Articulate your objectives using absolutely no jargon.How is it done today, and what are the limits of current practice?Who cares? [Support other’s research? Shape research landscape? Power applications in industry?]What's new in your approach and why do you think it will be successful?If you're successful, what difference will it make? [e.g. Contributions in theory/modeling? Improve accuracy by 5% on dataset A, B, C…?]What are the risks and the payoffs? [Further, how would you mitigate the risks? If your proposed method does not work, what could be alternative design? These can end up as discussions such as ablation studies in your paper.]How much will it cost? [e.g. How many GPUs do your experiments require? How long is each training process? How about data storage?]How long will it take? [How many hours are you going to work on this per week? When is the submission DDL? Can you make it?]What are the midterm and final "exams" to check for success?

本文已獲授權。

連結：https://zhuanlan.zhihu.com/p/336801134