首頁>資訊>

自從自然資源部公佈“實景三維中國”專案提出之後,各地實景三維建設已在逐漸進入高潮,實景三維具備對國家地理實體“全要素”的資訊表達能力,隨著基於實景三維資料的採集工具、後處理工具產品的相繼成熟,以此技術為基礎的相關測繪體系方法的升級帶來了巨大的生產效率提升。

實景三維大資料不僅能直觀的表現國土空間關係,真實反映地表資訊,還能透過立體空間資料做相關的管控分析。因此,自然資源部於2019啟動“十四五”基礎測繪規劃編制工作,推動在國家測繪基準體系建設與精化、實景三維中國建設,明確將實景三維資料納入基礎測繪資料範疇。

今天“E企研究院超融合加速季”就聚焦實景三維技術和落地場景,鎖定武漢大勢智慧科技有限公司(以下簡稱“大勢智慧”)私有云高效叢集建模解決方案,解析這家公司從採集端、處理端、展示端全鏈條最佳化,對大面積三維實景資料進行快速處理和最佳化,大規模排程計算引擎,完成全自主、全國產化的實景三維資料處理。

軟硬一體的高效叢集建模方案

高密三維重建系統是大勢智慧聯合英特爾全新推出的軟硬一體的私有云高效叢集建模解決方案,方案基於第二代英特爾®至強®可擴充套件處理器和英特爾®OneAPI工具包,致力於解決大規模實景三維資料生產中的空間佔用大、功耗大、效率低、成本高、管理混亂低效的問題。

英特爾® oneAPI 基礎工具包是一個由各種工具和庫組成的核心集合,用於在各種英特爾架構上構建和部署高效能、以資料為中心的應用程式。

英特爾® oneAPI基礎工具包

英特爾® oneAPI 深度學習框架開發工具是專為深度學習開發人員和研究人員設計,支援他們建立全新的深度學習框架或最佳化現有框架。

在三維資料生產過程中,分為兩個大步驟:空三、重建,二者各自具有以下特點:

1、空三 (空中三角測量)

讀取密集型,大規模的資料讀入;記憶體使用與影像數量正相關,5萬張對應需要64GB儲存;由於分塊接邊帶來不確定性問題較多,影像數量超過5萬較為普遍,因此,記憶體配置為256GB等較為合適;磁碟/網路IO瓶頸,現有CPU處理效率遠遠大於磁碟/網路IO。

2、重建

處理器與協處理器異構協同工作,未充分利用硬體效能;工程快取較大,資料傳輸、獲取IO/頻寬成本高;記憶體資源要求基本一致,64GB可處理尺寸為100米GSD為2cm的瓦片;各瓦片處理為獨立平行關係。

在三維資料生產過程中,由於資料量巨大,網路頻寬要求高,磁碟讀寫頻繁,針對以上特點,實景三維重建集群系統包括:空三節點、重建節點、管理節點三個部分組成。

1、空三節點

採用搭載第二代英特爾®至強®6248處理器以及Intel® OneAPI工具套件。oneAPI 是一項行業倡議,旨在建立一個開放、基於標準的跨架構程式設計模型,在面對大量跨各種架構的、以資料為中心的工作負載時簡化開發工作。它包括跨架構語言 Data Parallel C++ (DPC++)(基於 ISO C ++ 和 Khronos Group 的 SYCL),還有高階庫和效能分析工具。

英特爾® C++ 編譯器經典版:基於標準的 C/C++ 編譯器,支援 OpenMP 且專注於 CPU 開發。充分利用更多核心和基於英特爾® CPU 架構的平臺中的內建技術,體驗與流行的編譯器、開發環境和作業系統的無縫相容。

英特爾® 整合效能基元:加速成像、訊號處理、資料壓縮、加密等效能。

2、重建節點

重建農場是大勢智慧聯合英特爾共同打造的軟硬一體的解決方案,佔地面積不足0.8m²,能耗比普通PC叢集節省44%。在最佳化適配軟、硬體,使得二者發揮各自極致效能的同時,引入叢集智慧管理排程模組,實現待處理任務的自適應負載均衡、進度提醒等,能夠讓客戶擁有一天處理超過2萬張4200萬畫素影像的重建能力。

[註釋]:環境1套重建農場+S5000交換機+M1200儲存裝置。

包含算力的軟體、硬體、作業系統、節點管理硬體及平臺,即:

☞ 建模軟體(含10節點)

☞ 定製高密計算節點 * 10個

☞ 重建排程系統管理裝置 *1套

☞ 重建排程系統平臺 * 1個

計算節點包含了如下產品和能力:

☞ CPU:英特爾®至強®處理器 *10

☞ 記憶體:64GB DDR4*10

☞ 網路介面:40Gbps*3

3、管理節點

重建智慧排程系統是與重建大師配套的自動化、智慧化管理系統,主要解決大規模資料生產中的管理及執行保障問題。

重建大師(GET3D Cluster)是⼀款專為超⼤規模實景三維資料⽣產⽽設計的叢集並⾏處理軟體,提供使用者管理、任務排程、引擎監測、重建等多種子模組,實現計算資源的統一管理與排程。

主要特點如下:

a) 專案:專案工程總覽,進度一目瞭然。

b) 任務:遠端智慧排程,引擎按需分配,優先順序靈活調整。

c) 資源:硬體資源實時監控、風險提前預警。

d) 軟體:一鍵升級所有節點的引擎。

e) 硬體資源實時監控、收集引擎資源狀態,包括CPU、記憶體、磁碟、網路資訊,採集間隔不低於30秒,資料保留不低於1個月。

f) 任務分配:響應小於1s,最大支援排程數量1000。

基於重建大師的叢集軟體,大勢智慧的高密計算三維重建一體機解決方案系統建模效率高、空三穩定、模型質量優,是超大規模實景建模的一個不二選擇。

高密計算三維重建一體機

高密三維重建系統在空三節點採用第二代英特爾® 至強® 處理器,透過英特爾® C++編譯器自動向量化和IPP的AVX-512指令集實現了對程式碼的編譯和最佳化,相比傳統GPU方案;

藉助於Intel® oneAPI工具包中的英特爾® C++編譯器和英特爾® 整合效能基元工具最佳化圖片推理前處理模組,效能提升5.8倍。

藉助於Intel 資料分析庫,將人工智慧圖片比對模組整體效能提升9.43倍。藉助於Intel 最佳化過Tensorflow版本以及多執行緒程式設計最佳化,將3D 建模模組的整體效能提升9倍。

可以看出,與英特爾共同合作打造高密叢集伺服器具備的競爭力充分體現:

●高密叢集,極致空間佔用

●軟硬體深度適配與耦合

重建大師與英特爾硬體深度適配與耦合,最大限度發揮軟硬結合的優勢,打造1+1>2的生產效率提升;

●智慧化管理

自動化、智慧化的排程管理系統,對裝置、專案、任務、引擎、軟體統籌管理;

●低成本投入

一次性建設費用+執行費用遠低於其他解決方案。

比如某資料生產企業採用酷睿CPU組裝的約200個PC計算組叢集用於大規模三維資料生成,存在佔地面積大,維護困難,7*24滿負荷運轉可靠性差情況。

方案拓撲圖

採用高密方案後,使用者僅利用三個機櫃,整體佔用面積不足8平米,安裝12個高密重建節點伺服器,就能夠達到200個PC的生產效率,且整體能耗下降50%。透過智慧排程節點統一任務管理,實現“無人值守”,提升資源利用率。透過中臺系統,實時監控計算資源執行狀態,異常報警,一鍵開關機。同時在軟體層面支援私有云架構,支援水平擴充套件計算和儲存資源,結合運營運維平臺輕鬆部署和運維。

經過十多年的積累和沉澱,大勢智慧專注於真實世界的高精度採集、三維數字化重建和服務方面的軟硬體產品關鍵技術開發與應用,在計算機影象、計算機圖形、地理空間資料採集與處理、新型智慧感測器、機器學習以及雲計算方面擁有多項核心專利技術,在城市高精度三維建模、應用和文化遺產數字化保護領域呈現出強大的技術優勢。為城鄉政府提供決策參考,極大增強決策和民生服務的現實性和時效性。

12
最新評論
  • 3本作者大大最好的一本小說,劇情讓人拍手叫好,連看三遍也不膩
  • 依萍低估瞭如萍?為保護書桓的“心意”,如萍差點被混混劫財劫色