在現場,清華大學計算機科學與技術系教授溫江濤透過主題演講,分享了超高畫質影片技術的未來走向和智慧化趨勢。
“如今,超高畫質影片已在中國各地得到了重視,將形成一個非常巨大的產業,規模甚至要超過最樂觀估計的人工智慧產業一個數量級。預計到 2022 年,中國超高畫質影片產業總規模將超過 4 萬億元,會帶動晶片、顯示面板、影片處理演算法、網路傳輸等產業鏈各環節相關的技術生態。” 溫江濤表示。
繼數字高畫質化技術後,超高畫質影片將帶來影片採集、製作、傳輸、呈現的新一輪重大技術革新。
溫江濤介紹,超高畫質影片技術,最核心的部分在於編碼的軟體和編碼的裝置,需要具有相當大規模的資料傳播和高速計算能力。
其團隊的 8K 技術產品和處理系統,目前是業內屈指可數的廣播級軟體編碼系統,在 2019 年國慶 70 週年和今年的兩會期間,以及國家大劇院的一些重要直播方面,都已經成熟應用。
此外,8K 技術還是一種更有效生產 4K 和其他高畫質內容的辦法。例如高階品牌、運動隊、高階酒店、度假村等需要超高畫質傳播素材,還有滑雪比賽、方程式賽車等賽事高畫質直播等。8K 技術除了可提供製作高畫質內容之外,也能讓 4K 內容呈現更高質、更豐富的色彩,具備更高的動態範圍,是一種保持畫面優良質量的有效途徑。
![](http://timg.juduo.cc/2020/12/883e77af980d459cb1381383578ac57c.jpg)
關於其他創新應用,溫江濤分享了其團隊做過的一些測試。其中一個案例是在一個場景裡面提供超過 10 億畫素的解析度,這樣,既可以看到場景的整體,同時也可以開大量的視窗,把數公里外的任何區域性高畫質放大,這能夠延展出很多有意思的功能,比如檢測地震區域的受災損害情況。
8K 超高畫質裝置來捕獲超高質量影像,加上智慧識別的技術很快監測出損害程度,飛機在五公里、十公里上空飛過,就能識別一個大概尺寸在十釐米的地面目標。
另一個案例是用 8K 技術直播世界級的滑雪比賽。團隊用一組相機系統覆蓋整個滑雪場的賽道,自動跟蹤運動員從山上滑下來,採集到正面高畫質的影片。另外,因為運動員速度太快,距離較遠,經常會拍到了不清晰的畫面,但結合深度學習實時處理演算法的技術,透過多個鏡頭的組合,最終可以得到非常清晰的影像,解決聚焦不準的問題。
![](http://timg.juduo.cc/2020/12/7b7da3bf9dfa415e9f99030c4492fe06.jpg)
之後還能用智慧合成的技術,把多個人比賽過程直播合成在一個圖裡面,產生同時競技的效果,讓視覺體驗震撼得到極大的提高,同時,也可以提取他們的姿態分析路線,分析他們是否選擇了合理的路線。
“超高畫質影片的實現也會面臨很多挑戰。比如,需要實時處理大量資料,有的資料甚至大到超出我們常規超算的一些應用場景、應用範圍,影片資料也有很大的隨機性,很大的時空關聯度等等。” 溫江濤說道。
據瞭解,現階段國內在超高畫質產品裝置方面,短板比較明顯。首先,國產裝置很多不符合專業應用的要求,比如說散熱不好,穩定性不好,野外拍攝的時候不能適應各種惡劣條件的要求,同時,國產裝置的鏡頭藝術感、色彩不能很好滿足苛刻的拍攝需求,也經常出現 “吃光” 現象等。
其次,中國在核心技術專利、元器件、應用場景解決方案方面都比較欠缺,例如在全球首臺 8K 全業務轉播車上的 2400 餘套裝置中,只有 15% 實現了國產化。
溫江濤談到,“很多國外先進的超高畫質裝置很貴,去年做國慶直播的時候用上了世界上僅有的 8K 電視攝像機之一,這樣一臺攝像機價格甚至可以在全國任何地方買一套房。另一方面,我們做超高畫質的影片處理,以 8K 為例,也已經遇到了半導體和計算機終端眾多的掣肘問題,比如摩爾定律失效,在功耗和處理能力方面臨面臨眾多挑戰。
關於超高畫質技術的未來,溫江濤認為該技術正在推動產生新的視覺革命,他介紹了兩大趨勢:
一方面,傳統用單一的感測器,比如說 8K 的感測器,4K 的感測器甚至今天有 12K 的商業化裝置可以買到,但未來一定是多相機、多感測器的陣列組合,可能包含多種頻譜多種訊號的處理。
另一方面,從超高畫質影象獲取到傳輸再到處理到應用,這個過程是經典的 IT 過程,但是在過程中資訊的流動是單向的,在新的智慧影象系統架構裡,未來需要實現可動態調整、自適應的閉環,才能大大降低資料量、能耗和延時問題等。
在視覺技術領域,目前已湧現出眾多高科技、硬科技公司,以及很多做AI晶片、類腦計算、邊緣計算,不少方向還可以進一步革新。溫江濤表示,實際上當下機器視覺的演算法好多都是基於圖片的演算法,這種思路其實有些誤區,因為我們人類看一張照片的時候,人眼對大腦的刺激,並不是一張靜止的圖片序列,人的很多智力源自記憶。
今天人工智慧比較擅長解決的問題,基本都是需要人花精力去學習的東西,比如外語、下棋、開車等,需要學說明有人教,有人教也說明能教給機器,但是那些不需要學的能力,恰恰是機器最欠缺的部分,也是今天 AI 技術還不夠好的原因之一。他分享了團隊的一個理念:人類的歸人類,機器的歸機器。
溫江濤最後總結道,第一代數字感測的架構是 CCD,於 1969 年發明,在 2009 年得到諾貝爾獎;第二代是 CMOS,目前用得非常普及,在車、手機等產品中。目前其團隊的工作重點,將會持續攻克更多超高畫質視覺處理的核心技術,打造全新的智慧視覺感知架構,深入探索繼 CCD 和 CMOS 之後的第三代數字影象發展方向。