人工智慧正在引領新一輪變革，最近幾年人工智慧從科技行業開始，快速滲透到各行各業，我們的生活中已經充滿了AI的氣息。當前，全行業對人工智慧技術的採用普遍使用雲的方式落地，人工智慧雲服務AIaaS（AI as a Service）成為雲服務商新的增長點。人工智慧的深度學習演算法已經比較成熟，如何提升效率成為關鍵。作為業界知名的雲服務提供商，CDS首雲軟硬結合的AI雲服務技術探索給出了方向。

一、AI雲化是明確趨勢，

軟硬結合是關鍵

人工智慧正在從技術探索轉為大規模應用，人工智慧已經成為基礎設施，這就決定了AI雲化是明確趨勢。

首先是使用者需求，對於企業來講，必須不斷增加競爭力深化數字化轉型，人工智慧成為必然的選擇，從而帶來大量需求。隨著對雲的深度使用，企業希望人工智慧能夠像雲一樣易用，好用，並且按量計費。

第二是雲廠商的增長點，對於雲廠商來講，增強人工智慧能力，為企業賦能，是新的增長點，這也是為什麼許多雲廠商給名字加上“智慧”的原因。

第三是人工智慧涉及硬體、軟體，技術複雜，需要持續最佳化，只有雲廠商有這方面的資源和技術實力。

如同IaaS的底層是虛擬化技術一樣，AI雲服務依賴深度神經網路的演算法和軟硬結合的算力。演算法的實現依賴於軟體，人工智慧開源軟體是趨勢，而算力取決於軟硬結合的能力。

二、開源、軟硬結合是AI技術趨勢，

OpenVINO™二者兼具

人工智慧技術方面，一方面開源是主流，比如知名的TensorFlow、Caffe、MXNet、Kaldi等深度學習框架。另外一方面，算力非常重要，算力決定了人工智慧應用的速度。所以人工智慧的效果取決軟硬結合。但是由於開源框架很多，對於使用者來說，如果使用不同的深度學習框架，不同的硬體，需要一一進行最佳化，工作量繁重。

OpenVINO™工具套件的出現，解決了這一問題，OpenVINO™工具套件開源，支援主流深度學習框架，支援英特爾架構內不同硬體，提供統一介面，兼具了開源、軟硬結合的趨勢。

OpenVINO™工具套件介紹

OpenVINO™工具套件是英特爾基於自身現有的硬體平臺開發的可以加快高效能計算和深度學習應用開發速度工具套件，是用於快速開發應用程式和解決方案，以解決各種任務（包括人類視覺模擬、自動語音識別、自然語言處理和推薦系統等）的綜合工具套件。

該工具套件基於最新一代的人工神經網路，包括卷積神經網路(CNN)、遞迴網路和基於注意力的網路，可擴充套件跨英特爾硬體的計算機視覺和非視覺工作負載，從而最大限度地提高效能。它透過從邊緣到雲部署的高效能、人工智慧和深度學習推理來為應用程式加速。

OpenVINO™工具套件優勢

OpenVINO™ 工具套件的有四大優勢：

支援基於卷積神經網路的深度學習推理；支援跨英特爾CPU、英特爾顯示卡、英特爾神經電腦棒和英特爾Movidius™視覺處理器執行；透過一套易用的計算機視覺功能庫和預最佳化核心庫來加速上市時間；針對計算機視覺標準進行最佳化的呼叫，包括OpenCV*和OpenCL™。

下圖表顯示了典型的 OpenVINO™ 工作流程（單擊可放大）

圖 OpenVINO™ 工作流程

英特爾OpenVINO™工具套件發行版包含以下主要元件：

深度學習模型最佳化器：跨平臺的命令列工具，用於匯入模型併為推理引擎的最佳化執行準備模型。模型最佳化器會匯入、轉換、最佳化模型，這些模型在流行的框架中訓練，比如Caffe、TensorFlow、MXNet、Kaldi和ONNX；深度學習推理引擎：統一的API，可在多種硬體型別上進行高效能推理；推理引擎樣本：一套簡單的控制檯應用程式，展示瞭如何在應用程式中使用推理引擎；附加工具：一套模型協作的工具，包括準確度檢查器實用程式、訓練後最佳化工具指南、模型下載器等。

OpenVINO™工具套件開源，深受人工智慧開發者喜愛，在Github上目前獲得了1.9k的Star，787個Fork。

圖 OpenVINO™ Github介面

下面讓我們來看看知名雲服務商CDS首雲，如何利用OpenVINO™提升AI雲服務能力的案例。

三、CDS首雲案例

技術解析

作為AI能力輸出的關鍵環節，AI模型的部署和推理效率會對整體效能表現產生直接影響，CDS首雲與英特爾一起，在其高效能K8S容器平臺上匯入了OpenVINO™ Model Server，為 AI模型的快速部署及推理效率的提升助力。

目前這一全新方案已在CDS首雲內部的AI應用場景中進行了初步部署和驗證，實踐結果表明基於OpenVINO™ Model Server的新方案不僅在使用者併發接入能力上遠優於傳統AI模型部署工具，同時在檢測時延等關鍵效能指標上也有更為出色的表現。

首雲AI雲服務方案架構

AI雲服務不能僅僅限於提供面向AI應用加速的硬體基礎設施，一定要在其上部署能夠高效分配、排程底層基礎設施資源的雲平臺，以及能在這一雲平臺上為AI應用和模型提供完備執行環境的中介軟體或框架，雲平臺和AI執行環境的搭配越合理、協作越高效，AI雲服務的整體表現就越出色。CDS首雲打造AI雲服務方案的過程，就秉承了這一原則，其架構如圖所示：

圖 CDS首雲AI雲服務方案架構

在基礎設施架構層，由英特爾提供的一系列先進計算、儲存與網路產品，輸出了強大的資料處理、儲存與傳輸能力；K8S虛擬化層，則負責為底層架構提供節點管理和擴充套件服務，在將基礎設施層的能力物盡其用的同時，也讓方案擁有良好的可擴充套件性；方案提供的AI服務將透過容器，為上層的多樣化應用場景輸出AI能力。

基於這一架構，CDS首雲的AI雲服務能力既能透過解決方案的形式，為選擇雲平臺或裸金屬平臺的使用者提供附加本地服務能力，也能以服務API的形式，為使用者提供遠端AI能力輸出。

OpenVINO™ Model Server是方案核心

OpenVINO™ Model Server是OpenVINO™工具套件的重要元件，OpenVINO™工具套件的作用是幫助使用者實現模型最佳化和加速，以達到降本增效的目的，OpenVINO™ Model Server則是基於和利用英特爾®️架構基礎設施提供的算力，來幫助CDS首雲新方案大幅簡化模型部署流程，從而能更高效、便捷地將AI模型部署到生產環境，並有效提升推理效能。

圖OpenVINO™ Model Server 架構

如圖所示，OpenVINO™ Model Server對外提供了gRPC和REST兩種標準的網路API介面，供使用者在不同場景下呼叫，不論使用者是在本地，還是在遠端啟動AI工作任務，這些任務都將被接入到部署在容器內的OpenVINO™ Model Server服務。

上述架構設計及工作流程，讓OpenVINO™ Model Server具備了以下四大AI雲服務部署和應用優勢：

面向英特爾架構內不同類別硬體基礎設施實施效能最佳化，這一優勢可以讓使用者完成模型訓練後，即可將模型部署於不同場景中實施快速推理，有效降低部署和運維成本；與K8S良好的整合，OpenVINO™ Model Server能透過映象方式便捷地實現模型快速部署、維護和擴充套件，並具有更優的橫向可擴充套件性，便於為使用者提供密集型計算託管服務；對常見的主流深度學習框架均有良好支援，可幫助使用者在設計、部署AI方案時擺脫框架束縛，根據需求引入最優框架，增強AI服務能力；統一網路API訪問能力，允許終端使用者基於CDS首雲的雲平臺或裸金屬平臺部署本地化的AI能力，也可以採用遠端網路呼叫該能力。對gRPC和REST等不同API介面模式的支援，也使方案的可用性大為增強。實戰：助不良內容檢測兼顧高效能和低成本

在全新AI雲服務方案成形後，CDS首雲啟動了有針對性的實踐驗證工作，並優先選擇內部應用需求較為迫切的不良內容檢測場景作為“實驗田”。

圖 CDS首雲AI不良內容檢測流程

之前，CDS首雲主要採用TensorFlow Serving服務框架等開源工具，來將深度學習模型部署到生產環境進行推理，但這一過程中，使用者經常會面臨以下幾個方面的挑戰：

首先是模型在訓練和推理的不同過程中，不論採用什麼工具，效能和精度都可能存在差異，如果不進行適當調優，就無法更為充分地發揮出工作效能；其次是針對應用場景的變化，使用者可能需要選擇不同的深度學習框架；尤為重要的是，AI模型在不同架構硬體基礎設施上構建的生產環境中，推理效能會有明顯的差異，而方案使用者如果要針對每一種硬體環境進行重複且繁瑣的配置和除錯，勢必會消耗大量時間，且會對工作效率造成負面影響。

所有這些問題，在CDS首雲打造的全新AI雲服務方案中均得到了妥善的解決。得益於OpenVINO™ Model Server的部署和應用優勢，新方案不僅能讓使用者獲得高可用、易維護且一鍵部署AI應用的能力，在推理效能上也得到了明顯的提升，同時還可幫助使用者降低TCO。

圖 CDS首雲針對不良影片內容檢測場景的驗證測試結果

測試結果如圖所示，使用OpenVINO™ Model Server的方案在所支援的使用者併發數量上遠超對比組，相比採用TensorFlow Serving的方案提升了2.4倍，同時每個併發客戶端的延時也控制在了30毫秒以內，意味著整個檢測流程能夠跟上影片播放的速度，達到了實時檢測的效果。

未來，OpenVINO™ Model Server方案帶來的應用優勢，也會在CDS首雲全面走向公有云市場時轉化成為競爭優勢。接下來，除要在更多應用場景中進一步最佳化新方案的效能外，CDS首雲還計劃與英特爾一道，探索將基於 OpenVINO™ Model Server的AI雲服務與邊緣計算融合的解決方案。這類方案可將AI雲服務的應用範圍進一步擴充套件到安防、自動檢測、門禁系統等應用場景中，為使用者提供更具多樣化、差異化優勢的雲服務能力。

四、總結，OpenVINO™是AI雲服務未來

演進方向

作為業界知名的雲服務提供商，CDS首雲及時捕捉到使用者對於AI雲服務的迫切需求，攜手英特爾，使用OpenVINO™ Model Server為使用者打造更加高效、便捷和完善的AI雲服務能力，增強了競爭力。

AI能力是雲服務的新領地，OpenVINO™套件是構築AI雲服務的利器。基於OpenVINO™的雲服務，可以支援英特爾架構內不同硬體，支援K8S，支援主流的開源深度學習框架，提供統一的API。相信基於OpenVINO™的AI雲服務將是未來演進方向，使用者選擇這樣的AI雲服務，是對投入很好的保障。