文 / 張焰

1 公司介紹

大家好，首先介紹一下我們的公司，我們屬於360集團內部孵化的創新業務線，專注於AI視覺演算法的研發和應用。我們圍繞著人、物、場景三個方向為智慧手機、泛文娛、IOT領域提供一些專業的演算法支援和行業解決方案。

我們的核心能力包括智慧多攝、單幀/多幀畫質，這類演算法在手機客戶中應用較多；人像美化，包括AR特效等會運用到泛文娛的領域；場景識別涉及人、物、環境等多樣化的場景識別能力，另外包括一些影片分析的能力，在IOT領域也有廣泛應用。

本次我的分享主題是360AI視覺在線上教育中的創新演算法和應用。

2 我們為什麼在做教育

當然很多人會說，家長願意為孩子花錢，做教育更容易掙到錢。但更重要的是因為疫情的爆發，使得線上教育得到了前所未有的發展機遇。在一兩個月內，政府部門就將線下的教學場景搬到了線上，完成了大遷移，但在這個大躍進中也暴露了很多問題。

2.1 線上教育行業痛點

線上教育仍有很多痛點亟待解決。

第一點是學生自覺性差。K12教育是典型的督導式教學，以前的督導壓力都在老師身上，面對面線上下督導學生，而現在督導的壓力都轉移給了家長，家長確實是操碎了心。

第二點是教學效果難以評估。意思就是這個學生有沒有認真聽，有沒有聽懂，是沒有量化指標的。

第三點是課堂互動性差。因為技術的不完善及各種主客觀限制，線上課堂很難完整地模擬線下課堂場景，缺乏雙向互動的環境。

第四點是教學效率低。包括從教師端到學生端的適應和學習成本，還有空間限制帶來的管教效率。

以上四個問題總結而言就是缺少了教育質量監督評價體系，而我們要做的事情就是彌補和改善這個體系的缺失。

3 未來的思考AI視覺能為線上做什麼？

我們針對以上問題提出了對應的解決方案，分別是：代替督學方案、量化監測方案、智慧互動方案、智慧教輔工具。

3.1 代替督學方案

3.1.1 疲勞提醒

也許有些人在之前已經聽過或用過這項技術，現如今的檢測準確率較早前已經有很大改進。我們的疲勞提醒有三個維度，包括“打哈欠”、“瞌睡”和“趴著”，“打哈欠”和“瞌睡”這兩個維度在汽車駕駛中早有應用，針對教育場景我們單獨研發了“趴著”的監測。“趴著”這個維度如何檢測準確是比較有難度的，有些人可能會想到可以用人體骨骼關鍵點，這個方法針對全身還是比較準的，但針對半身，尤其是趴著時只有一個頭甚至是頭髮的時候，骨骼關鍵點無法起作用了，這裡就需要用到更復雜的檢測手段和技術。

3.1.2 姿態糾正

姿態糾正這個功能大家可能在教育平板或教育檯燈中體驗過，用得也比較廣泛。坐姿不良需要用到人的骨骼關節點和深度學習的技術，它有很多類別，包括上述提到過的趴著、臥倒、傾斜甚至是葛優躺，都可以認為是姿態不正。距離提醒這一塊主要是用於護眼健康，可以實時檢測到人臉到螢幕的距離。

3.1.3 學生姿態實時監測系統

這個姿態監測系統分為兩個方面：人臉姿態、人體姿態。人體姿態在上面提到過，我們是基於人體骨骼關鍵點配合深度影象，從而精準地判斷出各類人體姿態。這項技術以前都是2D影象資訊，而我們創造性加入了3D深度資訊，來輔助人體姿態識別。深度影象同時還可以用來測距。那這個深度影象從哪裡來呢？這就要和硬體相結合，像現在很多教育平板都加入了雙攝，前置結構光，前置TOF。

3.2 量化檢測

課堂專注度、課堂接受度是家長非常關注的。課堂專注度表示學生是否認真在聽，課堂接受度表示學生是否聽懂。之前我們的客戶曾提過這個問題，家長沒有課堂表現報告，不知道學生上課狀態及學習效果到底怎麼樣。所以為了解決這個痛點，我們提出了課堂效果量化檢測的方案。

3.2.1 普通專注度檢測

大家可以看一下這是以往的普通專注度檢測圖示，這裡只有一個2D影象資訊，檢測準確度存在較大誤差；其次它的監測指標單一，只有一些零散的指標次數，無法精確地回溯學情。

3.2.2 360AI課堂專注度

上圖是我們3D深度檢測+學情回溯追蹤的專注度監測解決方案。可以看到我們加入了3D的人臉檢測資訊，可以更精準地估計出姿態和視線方向。同時輔助事件觸發機制，判斷狀態的同時會儲存當前事件的觸發時刻、事件截圖、狀態持續時長等，這樣可以非常精確地有針對性地進行學情分析和回溯。

3.2.3 課堂接受度

課堂接受度是從上圖五個維度進行綜合分析，這裡的維度可以分為兩個方向，包括正向指標和負向指標。從課堂接受度而言，正向的評價有舉手、微笑、點頭，代表學生參與度比較高，表示他（她）聽懂了。負向的評價是疑惑、搖頭，這說明接受度不太高。

3.2.4 表情識別流程圖

剛剛說到了疑惑的表情，老師的責任就是傳道受業解惑，如果老師都不知道學生有沒有疑惑，他（她）怎麼去解惑？所以首先我們要把疑惑檢測出來，在學術界，只有七類表情，沒有疑惑，所以我們專門為教育增加了疑惑的表情。我們加入了大量疑惑的資料，透過結合人臉識別技術和人臉關鍵點技術輔助檢測，可以比較精準的判斷出疑惑的表情。

3.3 智慧互動（AI沉浸式課件、多向智慧互動）

我們的智慧互動方案主要介紹兩個技術，分別是AI沉浸式課件和多向智慧互動技術。

3.3.1 傳統課件

上圖是傳統課件的錄播和直播課場景，錄播課一般都會像上圖左邊所示搭一個錄播室，後面有綠幕，有補光燈。這對環境條件要求很高，要有場地，要有裝置，很不方便。上圖右邊是比較常見直播課介面，只有一個老師的頭像和投放的課件，這兩個東西是分屏展示的，也就是說老師和課件之間沒有任何互動。

3.3.2 AI沉浸式課件

上圖是我們研發的AI沉浸式課件，把老師的頭像與課件內容融合在一起，可以透過手勢控制課件的播放，比如說下一頁、上一頁、暫停等，有很直觀的互動效果。老師和課件完全融合在一起，不受場地限制，不需要專用裝置，只需要一個攝像頭就可以了。

3.3.3 網課互動限制

上圖是現在比較主流的網路教學直播介面，主要是以老師單向輸出為主，學生被動接受，學生和老師之間僅能透過文字互動。

3.3.4 多向智慧互動

我們希望透過一些技術手段，改變這種單一的互動模式，讓網課更生動、更有趣。

手勢識別

表情識別

再比如表情識別，檢測到學生出現疑惑情緒，系統就會把她highlight出來，老師就知道哪個學生沒有聽懂。這是非常有價值的，現在線上教育並沒有做到這一點。

人臉特效

還有一些增加趣味性的人臉特效，一些可愛的動效可以抓住低領學生的注意力和興趣點。

3.4 智慧工具（超清拍題，智慧補光，人臉考勤）

超清拍題與智慧補光是我們首發的技術。

3.4.1 超清拍題——拍照模糊問題

線上教育除了直播授課，還有課後作業場景，學生會遇到拍課件、拍題的問題。大部分學生的手都很小，如果用學習平板很容易拿不穩，拍題就拍虛了。當然也有人會說，我可以用光學防抖，但大家都知道光學防抖的每一個器件要增加3-4美金成本。只有買的是真正的旗艦手機，才會有光學防抖。所以我們提出了純軟的光學防抖方案，一次性解決上圖所示各種拍照模糊問題，比如失焦，曝光拖影，抖動，噪點，暗光等。

3.4.2 超清拍照——一個方案解決所有拍攝模糊問題

這個方案是我第一次公開講，有些手機客戶已經接入了我們的方案。流程也很簡單，輸入有兩種方式，感測器輸入和三幀影象，再進行感測器融合，位置估計，運動向量估計，根據位置資訊進行防抖去模糊處理。輸入的三幀照片進行對齊，降噪等一系列處理，最後進行動態範圍提升和影象增強。影象增強包括對比度增強銳化，整體是一個比較複雜的流程，這裡我們簡化給大家展示。

3.4.3 客戶案例——錄音筆HD Shot

這是我們的一個客戶案例，我們的超清拍照技術已經應用在訊飛智慧錄音筆上，可以用來提升拍會議文件的影象質量，不再擔心拍照拍虛的問題。

3.4.4 HD Shot效果展示

我們來看一下具體的效果對比。

這是增強效果。

這是防抖效果。

這是HDR效果，主要是提升動態範圍，實現高光抑制和暗部提亮。

我們的畫質提升能力不僅體現在拍照上，還能應用於影片。

3.4.5 智慧補光燈

通常專業的主播間中都有一個很大的補光燈，長期近距離直視或多或少會對眼睛產生傷害，於是我們提出了純軟的補光方案。上圖所示是全域性補光效果，我們還有一個只針對人臉補光的方案，基於膚色分割和3D打光技術，提升人臉質感和通透度。

3.4.6 人臉考勤

人臉考勤對線上和線下課堂都非常有價值，可以快速進行學生考勤，同時可防止代答到的情況發生。

4 客戶案例——網課助手

看完前面的技術介紹，接下來介紹一下我們針對線上教育研發的一個課質監測產品，叫網課助手。網課助手有4大場景SDK，包含專注度，課堂接受度，疲勞提醒，姿態糾正。這個SDK既可以發給老師又可以發給家長，在後臺自動生成檢測報告，家長和老師可以更全面直觀地看到學生的學習情況和情緒狀態。

4.1 方案架構

網課助手的架構是典型邊緣計算+雲計算的架構，家長端只需要本地端的能力，本地端的裝置越來越強，大家用的平板手機能力很強，這些檢測能力完全可以在端上實現，後臺更多的是和教育系統打通，把狀態及時推送給家長和老師。

4.2 應用場景

有了檢測資料之後，老師可以快速得到整個班級表現狀況，上圖左邊代表每個維度上每個學生表現佔比，分別展示表現好、中、差。上圖右邊可以將表現非常好和非常差的學生排列出來，做相應的獎勵或輔導。

對於單個學生，我們也可以給出更詳細的分析報告。比如想看疲勞度，會以時間軸的形式進行展開，發現在10點21分檢測到學生瞌睡，瞌睡持續時長一目瞭然。

想看看學生接受度如何，也可以根據時間戳回溯事件，看學生在哪部分內容上接受度較好，哪部分較差。

5

總 結

我們一整套的線上教育解決方案是金字塔架構，底層是AI底層技術，包括人臉識別、表情識別、手勢識別、姿態識別等技術；中層是基於各個場景的解決方案；最上層就是跨平臺的SDK和業務端的應用。好的AI技術我們希望不只是噱頭，而是可以真正為客戶起到降本增效的作用。

專注度與課堂接受度是為了給家長省心，老師放心，時間精力也算是一種成本；沉浸式課件課件減少投影儀，電視的使用；防抖技術可以省去光學防抖器件成本，省掉智慧補光燈的成本，這都是AI實實在在的價值。

360AI視覺不止做教育，在智慧手機、泛娛樂、IOT等領域都有豐富的技術應用，期待和各行各業的朋友有更多交流合作。