我們整體的模型調研之路是穩紮穩打的，在每個大版本調研的末期都會從各個維度審視現有模型整體結構潛在的問題或者不足。這些問題中，哪些問題在現有模型下修修補補能夠解決？哪些問題在現有模型下很難解決？這些判斷也是區分低階同學和高階同學的一個重要標誌。後一類問題在瓶頸期階段會顯得更為突出。比如在基於樹模型調研的後期，我們發現宏觀意義上的統計特徵基本利用充分了，而微觀意義上的細粒度資訊由於模型的限制無法考慮，於是我們轉向支援海量特徵的 FM 模型。
看文獻
查 case
很多演算法崗位同學執著於探索如何使用更復雜的模型，而對看 case 經常不屑一顧。這是一個典型的誤區，調研工作不僅要仰望星空，而且要腳踏實地。在公司裡安身立命的根本是提高業務效果，並不拘泥於任何可行的解決方案。針對如何發揮看 case 的作用，具體來說，可將模型預測錯誤的 case 輸出出來，仔細分析其錯誤原因，並分門別類，然後針對每類的問題分析其解決方法，到底是加特徵還是修改模型結構？這種方式對效果提升可有一定預期的，比如一類預測錯誤的 case 大約佔比 0.1%，那麼修復後準確率提升的天花板就是 0.1%，當然也有引入新 bad case 的可能。
勤思考
很多同學喜歡快糙猛把所有想到的模型或者網路結構都嘗試一番，效果不好就又再試其它新的方法，反反覆覆，最終無法獲得明顯的業務收益。個人建議在每個嘗試點結束之後要多思考。針對有效的嘗試，要看是否已經將其效果發揮到了極致？其實沒有效果的嘗試也是有意義的，起碼能說明一個潛在的方案並沒有效果。針對無效的嘗試，要思考為什麼沒有效果，沒有效果背後一般都是有一定原因的，如果搞不清楚，那嘗試的意義就會大打折扣了。反之如果搞清楚了對後續的模型迭代工作有一定的指導意義。勤思考的結果就是對業務特點會越來越清楚，激發的 idea 也會越來越多，效果提升的可能也越大。
快迭代
迭代速度是制約模型調研的一個核心因素，足夠的機器資源並充分利用可大大加快模型調研的節奏。這一點的重要性可比肩前面所有條加起來。一個人在業務指標上的貢獻大致可看做正比於探索過的 idea 數目。在總時間一定的情況下，單個實驗的成本越低，自然可做更多的實驗。我司提供的 GPU 資源還是非常充足的，開始的時候我們探索過單機多卡訓練，很可惜當時收斂效果並不理想就放棄了。
觀大局
我們整體的模型調研之路是穩紮穩打的，在每個大版本調研的末期都會從各個維度審視現有模型整體結構潛在的問題或者不足。這些問題中，哪些問題在現有模型下修修補補能夠解決？哪些問題在現有模型下很難解決？這些判斷也是區分低階同學和高階同學的一個重要標誌。後一類問題在瓶頸期階段會顯得更為突出。比如在基於樹模型調研的後期，我們發現宏觀意義上的統計特徵基本利用充分了，而微觀意義上的細粒度資訊由於模型的限制無法考慮，於是我們轉向支援海量特徵的 FM 模型。
看文獻
查 case
很多演算法崗位同學執著於探索如何使用更復雜的模型，而對看 case 經常不屑一顧。這是一個典型的誤區，調研工作不僅要仰望星空，而且要腳踏實地。在公司裡安身立命的根本是提高業務效果，並不拘泥於任何可行的解決方案。針對如何發揮看 case 的作用，具體來說，可將模型預測錯誤的 case 輸出出來，仔細分析其錯誤原因，並分門別類，然後針對每類的問題分析其解決方法，到底是加特徵還是修改模型結構？這種方式對效果提升可有一定預期的，比如一類預測錯誤的 case 大約佔比 0.1%，那麼修復後準確率提升的天花板就是 0.1%，當然也有引入新 bad case 的可能。
勤思考
很多同學喜歡快糙猛把所有想到的模型或者網路結構都嘗試一番，效果不好就又再試其它新的方法，反反覆覆，最終無法獲得明顯的業務收益。個人建議在每個嘗試點結束之後要多思考。針對有效的嘗試，要看是否已經將其效果發揮到了極致？其實沒有效果的嘗試也是有意義的，起碼能說明一個潛在的方案並沒有效果。針對無效的嘗試，要思考為什麼沒有效果，沒有效果背後一般都是有一定原因的，如果搞不清楚，那嘗試的意義就會大打折扣了。反之如果搞清楚了對後續的模型迭代工作有一定的指導意義。勤思考的結果就是對業務特點會越來越清楚，激發的 idea 也會越來越多，效果提升的可能也越大。
快迭代
迭代速度是制約模型調研的一個核心因素，足夠的機器資源並充分利用可大大加快模型調研的節奏。這一點的重要性可比肩前面所有條加起來。一個人在業務指標上的貢獻大致可看做正比於探索過的 idea 數目。在總時間一定的情況下，單個實驗的成本越低，自然可做更多的實驗。我司提供的 GPU 資源還是非常充足的，開始的時候我們探索過單機多卡訓練，很可惜當時收斂效果並不理想就放棄了。