回覆列表
  • 1 # IT人劉俊明

    這是一個很多同學都比較關心的問題,結合我們組內的情況,我來說說個人看法。

    在實際解決問題的過程中,我們往往會先從演算法的數學理論基礎開始,在完成一個嚴謹的數學推導過程之後,接下來要完成演算法的實現、訓練、驗證和應用,當然這些環節都會出現各種痛點,包括數學推導過程本身就有大量的痛點,因為目前很多推導都是基於假設條件來完成的,這自然也是痛點的重要來源。

    在做演算法的不同階段往往遇到的痛點是不同的,比如在做演算法的初期,痛點在於如何解決訓練的過擬合和驗證的欠擬合問題。這幾乎是每一名做演算法的同學都會遇到的情況,而且這一問題大機率會伴隨演算法工程師的整個職業生命週期,只是到了後期再遇到類似的問題就不那麼焦慮了而已,問題一直都在,只是心態不同罷了。

    在做演算法的中期,痛點會逐漸轉移到泛化問題上,很多工程師也會為了提升泛化能力而犧牲掉特定場景表現更好的演算法,因為這些演算法可能在其他場景下的表現很差,這對於落地應用是非常致命的。

    在當前深度學習大行其道的背景下,痛點又從大規模訓練逐漸轉移到了隱私計算和可解釋性上了,而這對於演算法工程師來說,在已有痛點沒有解決的背景下,又增加了新的痛點。

    對於當前從事演算法崗的同學來說,痛點無處不在,新的痛點出現了,並不意味著已有的痛點已經解決了,實際上更常見的現象是很多痛點慢慢地被習慣了,也就是所謂的“痛久了就不疼了”。

    我經常跟組裡的同學說這樣一個觀點,那就是追新有追新的好處,但是在人工智慧領域,很多傳統問題依然沒有得到解決,只是我們的關注點轉移了而已,如果能夠專注於解決歷史遺留問題,依然有廣闊的創新空間。

  • 2 # 華為雲開發者聯盟

    前面的回答已經有很多大神解釋了是否要學好數學,那麼小宅就來和大家分享菊廠一位無線演算法工程師的故事吧,希望對大家瞭解演算法工程師這個職業有所啟發。

    有人說,“演算法是無線通訊的靈魂”,這話一點不假。回頭看無線演算法20年來的征途,我們的“理想”並不是個虛無縹緲的東西,它滲透到了無線的每個角落,決定了晶片的每一步發展,影響了演算法人的每一次抉擇……

    “三十歲之前,路總是很長,我們總是展望。三十而立,就再也不敢展望了,低頭趕路吧。” 這是王小波在《三十而立》中說的。但是,我在三十歲時聽到的話,跟它恰恰是相反的。

    2005年,三十歲的我,剛入職華為,進入3G演算法專案組。同事告訴我,別顧著埋頭趕路,我們做無線演算法的,是有理想的,要引領無線通訊的變革。

    演算法是什麼?生活中的演算法無處不在,當你按下電梯按鈕的時候,電梯執行的演算法幫你最最佳化排程資源,縮短等待時間;當你駕車穿行於早晚高峰的時候,交通執行的演算法根據變化的車流量實時調控紅綠燈,幫助車輛行人更有效地通行……

    無線演算法也是如此,它透過一系列複雜的數學公式和指令解決無線通訊中遇到的各種棘手問題,讓使用者可以隨時隨地享受高質量的語音、影片、上網等體驗。

    據說演算法剛起步的那幾年,團隊有一個預研部,很多人曾開玩笑說,他們做的不是預研,是預言,因為第一款商用晶片裡的演算法必將從這裡誕生,將影響數以萬計的人。

    2002年的一天,能擔當大任的演算法似乎出現了。外場測試傳來訊息:一款“干擾對消演算法”(IC)的樣機通過了測試,提升了50%的系統容量!理論上,如果實現了IC,就能透過消除噪聲達到讓運營商在同一頻段上多服務一倍使用者的效果,對於使用者來說,通話體驗也將大大得到提升。

    但是,這款樣機帶來的激動心情根本沒持續多久——效能提升了一倍,但複雜度卻提升了三倍,這種划不來的做法,直接否定了它商用的可能。IC特性的複雜,讓它成為通訊領域的人人都想吃,但人人不敢碰的香餑餑。演算法組只能忍痛放棄這款樣機,轉身研究其他的特性。

    那個冬天寒冷異常,到2003年底,團隊成員已經從近30人,減少至不到10人。還在堅持的有從1999年就開始進行無線演算法研發的元老級人物,李化加。

    2004年,團隊終於向公司爭取了部門公開招聘的機會,收到了至少500封簡歷。“要做最好的演算法,就得最好的人才。”李化加親自篩選和麵試,憑著一股寧缺毋濫的勁兒,抵住了人力緊缺的壓力,最終只留下了最想要的5個人。

    從這時候開始,整個演算法組開始形成了一種心照不宣的學究氣質。李化加跟汪少波等人,像學校實驗室師兄師姐們一樣,投入大把時間對新員工們進行點對點的技術細節討論,包括如何研究、如何開展演算法設計、如何進行文件寫作,每篇分析文件都是千錘百煉後才能同意歸檔,好多習慣都在那時候被奠定下來。

    2005年的我初來乍到,聽到前輩們的故事,雖未經歷始末,但硝煙四起之感叢生。這年年底,在一款晶片的演算法設計即將被凍結的緊要關頭,李化加匆匆找到汪少波,說他在業界技術調研的時候,想到了一個以低複雜度實現IC特性的靈感。

    那時候,演算法的特性都是要做到硬體裡去的,也就是說,演算法一旦設計完成,就無法再改動——不僅這一版的晶片要依照這個演算法去生產,下一版的演算法還要跟這一版的演算法能配合運作。演算法的路只能向前,不能回頭。

    可是IC特效能夠減少噪聲擴大容量,實實在在提升每個使用者的體驗,所以,即使演算法的每一步都承擔巨大風險,即使這款晶片已經到了演算法交付的最後環節,他們還是當機立斷,決定把IC這個特性加進去!

    “不做IC,這款晶片頂多是效能上的優勢,而效能優勢是很容易被超越的。做IC,我們就實現了友商還實現不了的特性,這是演算法的競爭力。”汪少波的這句話,在三年後的沃達豐比拼上,得到了印證。在那場業界關注的技術比拼上,這款晶片的迭代版本,為華為拿到了第一名。CCPIC(控制通道並行干擾對消)這個名稱,由李化加和汪少波開創,到後來成為了華為的專用術語。

    “殺敵一千,自損一千二”的理論漩渦

    每個人的一生,總會有自己的“關鍵時刻”。對我而言,那就是2007年。這一年,中國移動決定在珠峰海拔5200米、6500米處採用華為裝置建設行動通訊基站;這一年,我被任命為第一版商用IC演算法的設計人。

    帶著初生牛犢不怕虎的衝勁,我們設計出了新的IC版本。然而,在推導的過程中卻出現了一個奇怪的現象,就是在消除干擾訊號的過程中,也損傷了資訊本身有用的訊號。就像消滅敵人的時候,自己人也受了傷。如果消滅的敵人大大超過自己人,問題不大。可萬一出現“殺敵一千,自損一千二”的情況呢?

    這正是演算法區別於其他專業的地方,即使是一個小小的理論假設,我們也無法視而不見,或者暫時擱置,因為誰也說不準,現在的理論假設,是否會成為最後壓垮整個演算法設計的致命稻草。

    可是,業界友商沒有實現IC的先例,學界論文也沒有這個問題的相關描述——我很清楚,可能要做第一個吃螃蟹的人了。

    攻關組馬上成立,除了“苦思冥想,連續作戰”,沒有捷徑。探討、推導、測試、驗證,迴圈往復。在接下來兩個月時間裡,我們從什麼是訊號、什麼是噪聲這些最基本的概念出發,一點點摳細節,探尋問題的本質。那些攻關的晚上,我經常做一個夢,在夢裡我自己變成了訊號,和干擾訊號大戰三百回合。每每醒來,渾身是汗。

    鑽得深了,我才得以留意到以前沒有注意過的運算細節——我們的演算法裡引入了一個特殊項,既包括訊號,也包含噪聲,這就是為什麼在消除噪聲的同時,訊號也有損傷的原因。找到關鍵突破點後,我們經過準確的運算分析,得出了一個意外結論——“殺敵一千,自損一千二”只是理論推測,真實場景根本不會發生。

    揭開這個苦苦追尋的答案,壓在我們胸口幾個月的大石終於卸了下來。理論漩渦的平息,也讓我們吃了一顆定心丸。

    一顆“螺絲釘”扭轉乾坤

    理論問題得到了解決,演算法設計也順利進入收尾階段。然而,測試結果卻猶如晴天霹靂:效能提升的效果極其不穩定,對使用者的影響就是一會兒訊號好,一會兒訊號差。這種情況真是稱得上“血案”級別,別說做業界最好演算法的雄心,連商用的信心都快沒有了。

    而且,目前這個階段不可能對晶片本身進行任何改動,唯一能接受的只能是修改可程式設計部分。就好比臨近交房,設計師對房子圖紙不滿意,想重新改造,打破一面牆,再造一個門,可是急於入住的房主能接受的,只是挪動一個螺絲釘。

    下班時,只有路燈在等著我。它們有的昏暗無光,有的明亮異常,有時把我的影子拉得很偉岸,有時甚至讓我找不到自己的影子。做演算法,孤獨的時刻有很多,但從來沒有一次像那天一樣強烈。

    那段時間,定位組、開發組、測試組、攻關組的同事成天混在一起,每天早出晚歸。當時每排除一個疑點,專案經理都激動地請大家吃飯,後來有人都忍不住說,“還是搞定了一起請吧,不然要把你吃的傾家蕩產了……”

    四個月的時間,上千次的測試模擬,日日夜夜的歸納推演,我們終於找到揪住了“嫌犯”:定點過程中的不當截位。通常的截位應該採用四捨五入方式,而我們為了實現方便,採用了直接丟棄的方式,相當於“九舍無入”。通常“九舍無入”都沒有大問題,但當多個晶片合併時,舍入誤差被急速放大了,正是這個“小”誤差,釀成了這次的大錯誤。

    當時,入職僅兩年的朱有團靈機一動,提出了一個“負數加1”的方案——只對數值的最後一個位元進行更改,就達到了“四捨五入”的效果,用非常小的代價解決了這個非常棘手的問題。本來要砸牆的房子,真的靠旋轉了一顆螺絲釘就扭轉了乾坤!朱博也由此一戰成名,還榮獲了當年公司級的金牌個人。

    後來我們才知道,原來友商也一直在尋求IC的商用化模式,只是沒有做出有效的演算法,於是走了另外一條降低干擾的路徑。在沃達豐的現場比拼中,技術分值華為第一,不得不說,IC演算法確實是助力登上寶座的最大利器。IC商用化的傳奇就此開啟,華為基站的接收能力再未遇過來自友商的實質挑戰。

    送上門的真經,我們沒有要

    2009年,我們急切地把視線拓展出去,以期尋找新的突破。巧的是,友商Q基於產業發展的考慮,主動與華為無線達成戰略合作意向,向華為分享他們掌握的IC技術。

    擁有豐富的IC運營經驗,保持CDMA系統最重要的基本專利,連世界公認的演算法巨匠都曾供職於此,友商Q理所應當是我們膜拜的“佛祖”。同事們都戲稱,這簡直是一次千載難逢的“西天送經”。

    果然,它的演算法設計能力帶給我們的震撼是巨大的。其中最令人稱奇的是,他們可以透過對消歷史資訊來提升效能。這種設計,不僅是我們從來沒有過的演算法思維,也更達到了我們從未達到過的卓越效能。不用苦苦搜尋,無需反覆求證,我們只要在這個基礎上稍做最佳化,就會得到日思夜想的演算法“真經”!我興奮異常,其他小夥伴們也難掩激動之情。

    然而,伴隨著交流的深入,我們卻發現了這種演算法的“阿喀琉斯之踵”:為了擁有足夠多的歷史資訊,這種演算法要將每個使用者的重傳率設得比較大。容量固然可以提升,但時延也會變長,給使用者的感知就是增加了等待時間。

    一邊是卓越的效能增益,這是演算法人夢寐以求的目標;一邊是提升使用者的體驗,這是演算法最樸素也最深刻的奧義。每個人的心中好像出現了一座天平,到底要往哪邊傾? 大家都猶豫了。

    不過,他們的思維方法卻極大地激發了我們的靈感。在資訊的傳送過程中,既有傳送成功的資訊,也有傳送失敗的資訊,友商沒有對後者進行快速對消,我們是不是可以補上這個空缺?

    為確保方案的有效性,我們在模擬平臺上全方位對比了我們和友商Q的方案,結果表明,設定短時延下,我們的演算法優於友商,設定長時延下,與友商基本相當。為了萬無一失,我們累計梳理了50多個可能的影響因素,並在樣機專案中逐一排除其影響。最終這個特性順利交付,實驗室測試的結果不負眾望,40%以上的增益實實在在地呈現在面前。

    自掘三尺地,新一輪自虐行動

    4G商用加速發展,3G新版晶片如何推出新的演算法特性?不破不立,我們準備先自掘三尺地,從版本的現有問題中,嘗試挖掘金礦。

    有人開著車沿著測試外場不停轉圈測業務資料,有人縮在實驗室裡一遍遍分析效能曲線,還有人抽絲剝繭梳理方案和應用場景,終於找到了IC演算法新的增長點。原版本的設計有一個“毫不利己,專門利人”的特點——控制通道給其他通道提供增益,自己卻不能享受增益,這其實阻礙了整體效能的提升。既然如此,我們能不能把它變成“利人又利己”呢?

    問題找到了,但給出解決方案更非易事。李**、楊**等團隊的“最強大腦”們,立馬成立幾個小分隊,多方向地嘗試思考。有人提出改變現有的並行處理方式,而讓多個使用者串在一起,前一個使用者對消掉的干擾,可以提升下一個使用者的效能,間接實現“利己”。理論驗證這個辦法確實有效,但操作起來工作量太大,不適合全面施展。

    這個角度的思考倒打開了我們的思路,我們決定嘗試在現有方案上增加一次並行處理,迂迴地解決“利人又利已”的難題。當然,這絕非是描述的這麼簡單,大量的配套方案和針對性改進才是真正的“幕後英雄”。

    還能不能再往前走一步?當目前方案已經獲得驗證之後,我們展開了新一輪的“自虐行動”。受友商Q思路的啟發,我們有了新的想法:如果能在資訊還未出發之前,預測它將會帶上哪些“行李”,對消掉不必要的東西,就能給旅途減負。把這種思路和並行方案嫁接起來,新的方案呼之欲出了!

    整整兩年內,從毫無頭緒到漸露曙光,從單點試探到全面開花,我們發揮想象,給出了絢爛的演算法方案。干擾對消演算法最終浴火重生,在本以為到達巔峰的情況下,又提升了15%的系統容量。

    攀登不止,初心依舊

    從初創小團隊的摸索,到與瑞研專家的合作,再到現在與法國、俄羅斯、德國、美國等至少7個國家的聯動……歷經近20年的光陰,演算法團隊經歷了從純粹中中國產、中外協作、到全球深度融合的成熟之路。全球智慧、理論大家和實踐能手的無敵組合,讓我們對5G演算法的研發充滿了信心。

    我一直很喜歡孔子說的“知不可為而為之”這句話。對於演算法人而言,這句話的意義便是,做事不問可不可能,但問應不應該。別人能做到,我們應該也能做到。別人做不到的,我們應該搶先做到。我們已經做到的,還應該要做到更好。

    一首小詩和所有的演算法人共勉:

    我不是思想家,我引領無線通訊變革。

    我不是指揮家,軟硬體系統因我而協奏。

    我不是發動機,我驅動無線核心競爭力。

    我是數學公式,更是理論與工程的完美統一。

    你們看不到我,但我在你身邊。

    我是演算法,無線通訊的靈魂。

    “我們做無線演算法的,是有理想的”,三十歲那年聽到的話,似乎又在耳畔響起。

  • 中秋節和大豐收的關聯?
  • 周迅那英參加《脫口秀大會》上熱搜,為何被網友說敗壞路人緣?