2021年將是“還債”的一年,此前所進行的系統設計、軟體架構或軟體開發都將迎來最終結果;同時它也將是服務及傳輸質量不斷最佳化的一年。本篇文章將介紹 WebRTC 的發展趨勢,以及如何據此不斷跟進通訊技術的發展速度。
2020年的整體氛圍是由全球疫情以及隔離措施決定的。對於那些從事通訊領域的人來說,這意味著使用者需求、業務規模和工作範圍的巨大加速與擴張。
原文連結:https://bloggeek.me/webrtc-trends-2021/內容目錄
/對 WebRTC 的期望
/Google 與 WebRTC 的2021
Google MeetStadia/WebRTC 2021趨勢大賞
趨勢一、更大規模的 WebRTC 會議場景趨勢二、去噪:WebRTC 中的背景替換與噪聲抑制趨勢三、聚焦 WebRTC 使用者隱私趨勢四、 WebRTC 的VP9 與 AV1 投資用例增長與市場規模的擴大/對 WebRTC 的期望
當我去年開始工作的時候,就談到過對 WebRTC 的期望。我曾試圖解釋 WebRTC 的概念——比其他任何東西都重要的是——它是由谷歌驅動並控制的。
也是從那時起,谷歌就在Google Meet中引入了噪音抑制、背景模糊和其他人工智慧驅動的功能。所有由人工智慧支援的功能特性都是在 WebRTC 之外發布的,但也都緊密結合了在 Chrome 中的 WebRTC 實現。
也是從那時起,人們關注的焦點發生了變化。大家開始喜歡談論機器人和無人機,談論AR、MR和XR,以及360影片、4K 和 8K 解析度——但是這對我們沒有任何幫助。
於是我們又回過頭去思考最基本的問題。再然後,隨著全球疫情肆虐,連最基本的問題也發生了變化。
作為開發者,我們需要跟隨潮流,在使用者需要我們的地方滿足他們的相應需求。WebRTC 的情況也是如此,但由於它歸谷歌所有,所以我們也大致知道它會往哪裡發展。
/2021 的 Google 與 WebRTC
雖然谷歌在多個服務中使用 WebRTC,但是在2021年,只有兩個服務對 WebRTC 的趨勢有重要影響: Google Meet 和 Stadia。
Google Meet在最新的 Gartner 魔力象限會議解決方案(2020年9月)中,你會發現:
由圖可見,影片會議的行業領導者是 Zoom,思科(Cisco) 和 Microsoft,而 Google Meet 則被遠遠地甩在了後面。
2020年是影片會議的大年,而且隨著谷歌對 WebRTC 和 Google Meet 的投入,這又必然會帶來一些影響。
2020年,谷歌在 WebRTC 及其相關應用上進行了大舉投資——這些投資大致集中在以下兩個主要領域:
程式碼最佳化——終於有人花時間來最佳化程式碼並使其在多個平臺和裝置上能夠更加高效和穩定了——這是一個正在進行中的工作,直到今天你仍然可以在每一個新版本和新功能的上線中看到谷歌為此付出的努力。谷歌也開始嚴肅對待實時影片處理,把它看作一個真正的專業領域,而不是業餘愛好。加強功能集合——這是為了應對競爭對手所提供的功能和服務,同時這一點也逐漸迴歸到 WebRTC 真正的能力當中——這種涓滴迴流非常重要。至於之前提到的那三個影片會議行業的先行者呢?
Zoom 不使用 WebRTC,這意味著它不會受到 WebRTC 的短板(或優勢)的“限制”。微軟團隊在瀏覽器上提供的體驗遠低於標準。你可以試著在 Chrome 撥通一個Teams 影片電話,而不是直接在 Teams 應用程式上撥通——你會驚訝於這項服務是多麼的糟糕和落後。思科正在改進桌面版 WebEx,但這項應用的許多重點功能和特性超出了 WebRTC 的範圍。比如 WebEx 開始支援 AV1。StadiaStadia 是 Google 的雲遊戲平臺,雖然現在還是雲遊戲的初期階段,但這個行業已經發生了一些有趣的事情:
疫情讓更多的人開始玩遊戲。尤其是孩子們。我的兒子在他的虛擬課間以及一天中的其他時間玩遊戲;而我們因為有了宅家的約束,遊戲無疑也成為了一種與朋友保持聯絡的方式賽博朋克2077本應該是使用者加入該平臺的動力,因為 PlayStation 4和 Xbox One 等遊戲機還無法滿足該遊戲的高階需求,使用Stadia或其他雲遊戲平臺也是一個合理的解決方案——直到有關賽博朋克2077這款遊戲本身的 bug 被報道出來。Epic Games 與蘋果公司就其應用商店的稅收規定展開了激烈的爭論。對於遊戲聚合商來說,唯一可能的解決方案是基於瀏覽器的方法,而不是可安裝的移動應用程式。基於雲和瀏覽器的 Stadia 則很“享受”以上這些。目前,谷歌似乎非常致力於推動 Stadia,Chrome 和 Safari 都增加了對 VP9 配置檔案2的支援,這意味著比通常用於影片會議更高的色深,也更適合高階遊戲玩家。/WebRTC 2021 趨勢大賞
2021年影響 WebRTC 的趨勢基於以下兩個主要方面:
Google Meet 和 Stadia 的需求 開發人者們正在嘗試用 WebRTC 開發什麼現在,來自開發者的開發成果是與遠端擴充套件有關的一切。還有許多領域沒有得到足夠的重視,僅僅是因為他們是全新的場景。我認為最有趣的是,主流影片通訊領域仍然是 WebRTC 最重要的應用場景之一。
2021年 WebRTC 的四大趨勢將是由影片通訊驅動的:
/趨勢 # 1-更大規模的會議場景我們過去想要更高的解析度——在任何給定的時間點,都有一家公司在影片會議的解析度上超越了極限。但自從我們開始使用 HD,這種趨勢就停止了。供應商仍然試圖營銷 4K 的噱頭,但這並不持久。高階市場線就此消失了,留下的是一個新的數字——展會級別的會議人數。
隨著Zoom做到49路影片流,這似乎已經成為每個平臺都想達到的神奇數字。
WebRTC對於較小的會議規模來說是很好的,但是當一個會議中有超過16路影片流時,挑戰就出現了。我喜歡用這張幻燈片來做進一步解釋:
WebRTC 支援的會議規模越大,解決方案的複雜性就越高。
不斷增長的方案複雜性伴隨著使用更高階的技術和技巧進行最佳化的需要。從2個使用者擴充套件到10個使用者需要一種不同於擴充套件到50或100個使用者的方法;針對會議中的1000個使用者則需要略有不同的體系架構;而要達到容納20,000或更多人的規模,還需要其他工具進行輔助。
現在有兩個不同的領域需要大規模擴充套件 WebRTC 會議規模:
”傳統”會議——我們有20人或20人以上的大型會議,但曾經人們只是在3到4個會議室召開會議,並將這些會議室連線起來,而現在每個人都是會議中一個必不可少的裝置環節。
大型會議——我們現在正試圖複製現實世界中的行業會議活動以及娛樂活動 (包括單口喜劇、脫口秀、魔術、體育賽事... ...) ,並將其轉化為虛擬活動或者大型線上會議。
以上兩者在天然屬性、技術和技術解決方案上都是不同的。
Google Meet 專注於“傳統”會議,這意味著 WebRTC 程式碼內部的最佳化以及程式碼之上的啟用都是為了解決這類問題而構建的。那些大型會議則面臨著更大的挑戰,但谷歌和 WebRTC 對他們的“直接”支援卻變得更少了。
/趨勢 # 2-去噪: WebRTC 中的背景替換和噪聲抑制2021年 WebRTC 的第二個趨勢更令人驚訝。我認為如果沒有這場全球疫情,沒有人會太在意這些。
你需要更好的媒體質量嗎? 買一個更好的相機——隔離開始的時候我就是這麼做的:我不得不把家裡配有高質量外圍裝置的機器數量增加四倍。現在在家裡開會的不再是我一個人——全家人都被迫在家工作——而是變成了四個人,且每個人需要獨立的空間處理工作以及開線上會議。
在這種情況下,如果家裡的人口更多、房子更小, 又是什麼樣的情況呢——
在家工作的人,他們有自己的家庭和孩子,孩子也很可能成(誤)為(入)影片會議的一部分。
還有家人洗衣服的聲音,自己敲鍵盤的聲音,鄰居在樓上跑動的聲音......
我們發現了影片會議背景噪音的問題,還意識到了使用者安全與隱私的問題,這些都需要我們一一處理。
這時出現了一個“既蒼老又年輕”的需求——那就是背景模糊和背景替換、噪聲抑制和噪聲消除。
它們不是 WebRTC 的一部分,但是不管怎樣,你需要讓 WebRTC 與這些新的需求對齊。
/趨勢 # 3-關注 WebRTC 使用者隱私還有人記得Zoom還有它引發的安全問題嗎?
我不是來幸災樂禍的。在2020年之前,Zoom 在安全和隱私方面做得很糟糕;也是在2020年,它又在創紀錄的時間內解決了這些問題。
其實關於 Zoom 的問題既涉及安全問題,也涉及隱私問題:使用者的隱私既不應該受其他使用者和駭客的侵犯,也不應該受到來自 Zoom 本身的侵犯。
出於同樣的原因,對使用者隱私的關注也成為了 WebRTC 關注的焦點。現在每家通訊公司都用 Zoom 來衡量自己,無論這個衡量標準是好是壞。
當涉及到 WebRTC 安全性問題時,有許多問題需要解決,最新的進展是在媒體伺服器中支援 E2EE。由於 WebRTC 引入了 Insertable Streams,為群組影片電話提供端到端加密服務變為了可能。
但是,有關“如何使用它?它需要你執行什麼?這將如何影響你的服務中的其他需求和特性?”,我們將在2021年去慢慢探索這一點,因為到時將有更多的供應商將與 WebRTC 一起推出 E2EE 解決方案。
/趨勢 # 4-WebRTC 對 VP9和 AV1的投資影片編解碼技術分階段發展:整個行業已經開始採用 HEVC,蘋果公司在這方面遙遙領先;VP9則正在緩緩追趕;而我們已經進入了下一個編解碼器時代——AV1將進一步發展,新一代編解碼器VVC也勢如破竹。
WebRTC 主要支援 VP8,只有少量支援 H.264。以下是我對 WebRTC 中影片編解碼器使用情況的估計:
提醒:注意觀察圖中的高度差異而非面積大小的差異
現在,那些正在關注 VP9和 AV1的公司正試圖將其用於不同的用例和場景。
思科剛剛宣佈Webex在本地 PC 應用程式中將支援 AV1進行螢幕共享。而我們也將在2021年看到更多這樣的用例——更多公司將試驗、使用和推出更多支援 VP9 甚至是 AV1 的產品。
WebRTC 正在開拓更多的市場,包括大型活動、直播,甚至影片雲剪輯,所有這些新特性和功能都需要回歸到 WebRTC 本身。
現在 WebRTC 1.0 終於定稿了,W3C 也將越來越關注接下來圍繞 WebRTC 會發生些什麼。如果你的業務需求需要對 WebRTC 進行一些更改,那麼歡迎你加入 W3C,這樣你的聲音就可以被聽到,甚至會影響 WebRTC 的下一個目標和將來的發展方向。如果你想討論這個問題,也歡迎聯絡我(https://bloggeek.me/contact-me)。