基於深度神經網路的實際應用已經不再是紙上談兵了，它們正在語音識別、影象處理和機器翻譯等許多領域創造更大的價值。京東業務增長部（Business Growth Division）近日連發兩篇論文，介紹了這家中國電商巨頭為電商和廣告應用開發的兩個神經網路模型 LADDER 和 Telepath。值得一提的是，這兩個模型現在都已經在京東的系統中得到了實際應用。

論文一：LADDER：一種用於大規模實時線上拍賣的人類水平的投標代理（LADDER: A Human-Level Bidding Agent for Large-Scale Real-Time Online Auctions）

論文地址：https://arxiv.org/abs/1708.05565

我們提出了 LADDER，這是第一種可以為大規模真實世界問題直接從由高階語義資訊構成的原始輸入中直接成功學習得到控制策略的深度強化學習智慧體。這種智慧體基於 DQN（深度 Q 網路）的一種非同步隨機的變體 DASQN。該智慧體的輸入是不完全資訊博弈的狀態的純文字描述，即實時的大規模線上拍賣，而其獎勵（reward）是非常大規模的拍賣利潤。我們將這個智慧體應用到了京東線上 RTB（實時競價/real-time bidding）廣告業務的一個關鍵部分上，發現其可以輕鬆擊敗之前最佳的投標策略——這個策略是由人類專家精心設計開發和調節校準的：在 JD.com 6 月 18 日的週年慶銷售中，該智慧體為公司在這一部分的廣告收入帶來了超過 50% 的增長，同時廣告客戶的 ROI（投資回報率）也有顯著提升。

圖 2：京東 DSP（需求方平臺）架構的設計和演進

表 1：LADDER 的卷積網路的架構

演算法 1：深度非同步隨機 Q 學習（DASQN）

圖 3：LADDER 的非同步部署的示例

圖 5：在京東 6 月 18 週年慶銷售上的實驗資料

圖 7：LADDER 的 t-SNE 視覺化。不同的顏色表示不同的發行商（a）和不同的語義（b）

論文二：Telepath: 在大規模推薦系統中從人類視覺角度理解使用者（Telepath: Understanding Users from a Human Vision Perspective in Large-Scale Recommender Systems）

論文地址：https://arxiv.org/abs/1709.00300

要設計一個服務於數億活躍使用者的電子商務推薦系統，難度讓人望而卻步。從人類視覺的角度來看，存在兩個影響使用者行為的關鍵因素：商品的吸引力和它們與使用者興趣的匹配度。本論文提出了 Telepath，這是一種基於視覺的仿生推薦系統模型，它可以從這個角度理解使用者。Telepath 結合了卷積神經網路（CNN）、迴圈神經網路（RNN）和深度神經網路（DNN）。它的 CNN 子網路可以模擬人類視覺系統來提取商品吸引力的關鍵視覺訊號並生成對應的啟用（activation）。它的 RNN 和 DNN 子網路可以模擬大腦皮層，可基於由瀏覽商品生成的啟用來理解使用者的興趣。實際上，Telepath 模型已經被裝進了京東的推薦系統和廣告系統中。將其作為京東應用的主要商品推薦模組之一之後，點選透過率（CTR）、商品交易總額（GMV）和訂單量分別增長了 1.59%、8.16% 和 8.71%。對於京東需求方平臺的幾家主要廣告發行商而言，CTR、GMV 和投資回報率在該模型第一次推出時分別增長了 6.58%、61.72% 和 65.57%，之後第二次推出時又進一步增長了 2.95%、41.75% 和 41.37%。

圖 1：推薦系統流程圖

圖 2：Telepath 的架構

表 1：CNN 子網路的架構

這個問題真的是問到點子上了！！！

作為一個網際網路行業從業者，我身邊有很多朋友經常會問我很多問題，他們通常以為解決了某個問題，就能立馬大賣，走上人生巔峰

然而，很殘酷的告訴你，並不能，深度學習你只能學會術，學一些小技巧，小門道，就像是派代上很多普及推廣知識的帖子一樣，你看了學習了就等於會了這個術，可真有一天給你個店鋪，你還是不知道怎麼辦？為什麼，市場不一樣啊，方向不一樣啊，換個詞就是道不同啊，你的產品和他的產品在市場中處的位置有很大的區別啊，舉個例子，派代中有很多開直通車的普及帖子，你一看，頓時覺得豁然開朗，馬上充錢去燒，結果並不是那麼回事

是你技術的問題？並不是，別人開直通車的思路也許是佔位置，堵流量，也許是做排名，也許是做增量，也許是做銷售額，而你呢？目地都不同，你能複製他的模式嗎？

別說是你學習，就是同一個人去操盤同樣產品的不同店鋪，他有可能都複製不了前一次的成功！

雖然學習不能解決全部的問題，但是學習還是很有必要的，算不算廢話？