首頁>科技>

一、專案內容概述

本專案以建設創意資訊大資料應用雲平臺及新一代智慧網路通訊的研發和應用實踐為主要建設內容,具體如下:

1、大資料應用雲平臺專案

創意資訊“大資料應用雲平臺”基於大資料、雲計算、物聯網等技術,適用於政務、環保、電力等行業,是從資料採集到資料處理、資料應用、資料管理、資料儲存、再到資料備份服務的軟、硬體資料分析平臺,其透過“硬體+軟體+服務”的整合,為政務、環保、電力等不同行業使用者、服務商、資料管理者、消費者提供基於雲計算的智慧化、可定製、視覺化的資料模型管理平臺,最終形成面向大資料深加工的核心產品及服務。

透過建設“大資料應用雲平臺及新一代智慧網路通訊的研發和應用實踐專案”,進而在此基礎上實施大資料分析、安全脫敏、智慧備份及提供其他增值服務,一方面可以幫助公司以現有產品作為切入點,雲化建立具有自主智慧財產權的大資料平臺,更好的滿足現有業務領域客戶;另一方面,公司可以利用雲平臺,透過大資料分析解決虛擬運營商在實際業務開展中遇到的困難,為其提供差異化服務,豐富虛擬運營商 IT 服務提供方式,從而獲取更大的利潤空間。

“大資料應用雲平臺”主要包含“六大自主可控基礎產品開發”和“兩大應用服務”;經過前期的市場調研工作,結合公司自身優勢,本專案大資料應用雲平臺的業務應用將優先開發工業物聯網支撐平臺應用服務、持續運營個性化流量應用服務。具體如下:

1.1 大資料應用雲平臺

(1)企業級大資料平臺(D+)

企業級大資料平臺(D+)是基於開源 Apache Hadoop,綜合大資料市場需求,打造的企業級大資料平臺產品。產品整合 Hadoop 生態圈中多種優秀元件,實現採集、處理、分析、儲存、搜尋、演算法、服務、安全等全域一體化的資料加工能力。透過實時動態分析、離線資料模型分析、挖掘、預測等手段,為企業級使用者提供強大的分析、決策、創新等支撐能力。

D+ 定義

D+ 平臺同步最新的 Apache Hadoop 穩定發行版,集成了最新穩定的 Pig、Hive、Ooize、Tez、Storm、Spark、HBase、Solr、Kafka、Flume、Sqoop、Knox、Ranger、Hue、Zookeeper 等元件,極大增強其相容性、安全性、穩定性, 解決了版本、元件等相互依賴問題,使使用者能夠專注於資料儲存、處理等業務應用,而不用關心底層平臺問題。

D+ 體系架構

D+平臺以 YARN 作為架構中心,支援多工、多負載、多處理方式(從批處理到互動式處理再到實時處理),擁有企業級大資料平臺所需的關鍵能力——管理、安全和運營。平臺全面的功能集包括:集中監管、資料儲存、資料訪問、資料安全等主要功能。

(2)大資料業務模型平臺(M+)

大資料業務模型平臺(M+)構建了基於大資料業務的 PaaS 層服務。依託大資料領域從業人員(業務分析師、業務分析專家、模型設計人員、測試人員、管理維護人員、服務方和整合商等)的具體需求,構建了大資料業務模型全生命週期的閉環管理,平臺具備視覺化大資料業務建模、業務模型自動化部署、模型測試、視覺化展示、業務模型排程維護等功能,支撐多租戶的大資料業務模型開發、共享、授權與管理。

平臺以企業業務邏輯為導向,使資料分析者只關注具體的業務分析邏輯而無需關注底層大資料平臺的技術細節,極大提高了業務模型開發的速度和便捷性。

新型大資料整體分析模式

M+包含以下幾個主要功能:

① 視覺化模型開發客戶端:模型設計視覺化、執行資料視覺化、模型開發引擎;

② 認證與使用者管理服務:使用者管理、模型許可權自動化分配管理、模型與使用者許可權認證;

④ 模型排程服務:任務排程引擎、日誌引擎;

⑤ 模型解釋服務:模型自動化編譯引擎、模型自動化解釋引擎。

大資料業務模型平臺一站式大資料綜合架構

(3)大資料資料處理平臺(TROY ETL)

TROY ETL 是同時支撐 Windows 和 Linux 執行環境的大資料資料處理平臺。

TROY ETL 能夠快速便捷的完成涵蓋各種資料結構的轉換、過濾、清洗工作;其全程的視覺化操作及監控體系為業務人員、運維人員、開發人員從資料整合設計、排程運維、功能擴充套件及支援提供了完善的支撐。

大資料資料處理平臺整體架構

① 大資料層

平臺提供對分散式檔案系統的支撐,同時對創意企業級大資料平臺(D+)提供的大資料環境進行了功能最佳化,對比其他開源環境擁有更高的執行效率。支撐的元件包括 Oracle、Hadoop、MongoDB、Hive、Kafka、Hbase、Storm 等。

② 核心層

平臺核心層作為整個平臺的基礎能力提供層:提供安全加解密、執行緒管理、資料庫驅動、訊息傳遞、日誌管理等功能,同時可透過外掛介面實現對新功能的自定義擴充套件。

提供作業、轉換、批處理任務、元資料、系統資料交換引擎功能。

④ 應用層

平臺具有:視覺化的 ETL 任務設計器、批次的任務排程器、支援動態叢集排程管理器和分級的日誌管理功能。

大資料資料處理平臺特性

(4)資料脫敏(敏感資料管理)產品

創意“資料脫敏產品”是一個適合不同行業和使用者的全方位產品,內建豐富的敏感資料發現、脫敏演算法能夠支援金融、政府、教育、零售等不同行業的資料脫敏需求;又能支援國內外主流的資料儲存平臺,包括:資料庫、Hadoop 大資料分析、檔案等的全面智慧的資料脫敏軟體。

與其他脫敏軟體不同的是,創意研發的“資料脫敏產品”是可以與創意資訊研發的資料敏捷管理平臺 CDS 產品實現無縫對接,可以在統一的圖形化介面管理中幫助客戶實現測試、開發和資料分析等多種場景下的應用需求,透過“資料脫敏產品”的自助服務平臺,適應大型企業、大專案的不同複雜場景的敏感資料管理,靈活的脫敏演算法自定義能力,包括支援混排、替換、隨機、波動等常見的脫敏演算法。脫敏過程全記憶體的資料處理,保障資料不會在脫敏過程中洩露,部署架構方面支援叢集部署和並行處理,保障大資料分析要求的處理能力。

(5)分散式塊儲存產品

在日益激烈的競爭環境中,高效、敏捷的 IT 服務能力已成為現代企業取得

商業成功的核心要素。資料庫、虛擬化、雲應用要求 IT 系統更富於效率和靈活性,而以傳統的高中低端磁碟陣列為代表的“傳統 SAN”IT 基礎設施是孤立、僵化、不靈活的,它們在效能、擴充套件性、可管理性等方面存在明顯的侷限性,無法始終為客戶提供所需的可擴充套件性、彈性和靈活性來滿足當今高效能應用程式的需求,更不用說滿足整個業務的需求。雲計算、虛擬化、分散式、軟體定義技術的

快速發展,促使資料中心的建設目標和技術架構發生了深刻的變化,要求實現更高的效率、服務水平、靈活性和敏捷性。

經過前期的市場調研工作,結合公司自身優勢,本專案中研發的分散式塊儲存裝置具備以下特點:

 企業級資料服務,充分利用各類高效能標準 X86 硬體資源,構建高效的

分散式塊儲存架構,可透過高效能的 VM 專用介面,NBD 介面和 iSCSI 介面供業

務主機訪問,可完整支援虛擬化、雲計算、資料庫等各類企業級應用場景,包括資料保護,容量最佳化,快照和克隆,動態分層,SLA 保障,安全加密等。

 彈性化儲存管理,採用完全橫向的擴充套件模式,可實現真正不停機的動態擴容,按需配置,隨需擴充套件

 高效能,採用 Scale-out 分散式設計架構,儲存叢集內部每個節點可以

並行的對外提供訪問,自動負載均衡等多種效能最佳化機制,可構建一個高頻寬、高併發、低延時的高效儲存平臺。

 低 TCO 成本,可以不採用同等節點,讓使用者充分利舊原有資源的靈活組

建方式可以最大限度的降低 TCO 成本,且支援動態可擴充套件的擴容,最大限度保護已有投資。

(6)備份系統智慧分析及自動化恢復驗證平臺產品

研發的備份系統智慧分析及自動化恢復驗證平臺,初期以支援當前在金融/能源/電信運營商中使用比例最高的 NBU 軟體為基礎,實現針對 NBU 軟體的備份系統智慧分析和自動化恢復驗證,同時,開發與資料敏捷管理平臺的對接,實現一套平臺下的資料全生命週期管理和使用,真正將資料的線上、近線、離線管理落到實處,實時展現當前資料副本的狀態。未來考慮逐步加入客戶當前使用量較大的其他備份軟體的支援。本期研發的產品還具備以下功能特點:

 靈活部署方式,提供私有云和公有云兩種模式,無縫對接企業內部已有的 NBU 備份平臺,松耦合的方式獲取資料及驗證

 圖形化操作介面,透過 Web GUI 的圖形介面的方式進行操作,設定驗證

策略及分析策略,採用智慧資料分析方法將分析結論以動態圖形的方式予以展

現,且可以記錄不同時期的分析結果,實現多維度對比,並給出備份系統當前存在的問題及建議修改的方式。

 豐富的介面,提供 Restful 的 API 介面,同時可以與北京創意雲智的數

據敏捷管理產品實現無縫對接,從而在提升現有備份系統能力的同時,也可以在統一的介面內對客戶的資料進行全生命週期管理,同時預留了未來與其他備份軟體對接的介面,方便與其他備份軟體整合。

1.2 工業物聯網支撐平臺應用

隨著工業 4.0 以及網際網路+概念和政策的出臺,單一的裝置人員本地服務以

及粗放的本地監控服務模式,已經遠遠不能滿足客戶複雜的業務需求。結合邦訊資訊在物聯網方面的技術優勢和創意資訊在大資料技術方面的長期積累,工業物聯網支撐平臺應用將面向行業客戶提供裝置執行情況、資料接入採集,並對採集的資料進行彙總和綜合分析,最終形成企業裝置管理和維護的最佳方案,最佳化資源配置。該平臺可以應用於能源行業、智慧監控行業、安防行業、基於物聯網的傳統行業改造。

1.3 個性化流量應用

“創意流量”是在基於雲端資料分析的流量消費服務,負責對運營商流量的交易、流轉、兌換、結轉,根據不同的應用場景,透過流量 7 個維度流量屬性(大小、時間、內容、位置、質量、流向、流速)的不同配置組合,面向個人使用者、家庭使用者、企業使用者及相關網際網路流量銷售合作伙伴開展不同型別的流量產品。

2、新一代智慧網路通訊專案

隨著 3GPP 標準 Rel15 和 Rel16 的凍結,5G 相關的通訊晶片供應商、終端廠

家、系統裝置供應商從技術角度陸續公佈產品路標和釋出時間。國內三大運營商也相繼推出技術商業白皮書,建立 5G 應用和產研中心,工信部組織的 5G 測試已進入第三階段。

創意資訊根據未來發展規劃,結合技術、市場的資源儲備和對新興 5G 技術市場、行業方向的調研分析,在公司首席科學家梁平院士牽頭的技術團隊充分論證和準備下,確定了公司在 5G 產業初期的定位主要集中在 5G 無線接入網(5G NRRAN)和移動邊緣計算(MEC)方向,具體的產品形態將聚焦在基於 SDR(軟體定義無線電)的 5G 小基站和開發基於多處理器環境的 MEC(移動邊緣計算)系統平臺。

原因在於未來業務的承載在邊緣,智慧採集也在邊緣,無線技術的應用也主要表現在新空口的軟體定義和計算處理上,作為技術入口和產品市場入口,初期聚焦 5G 小基站利於集合資源、積累人才,長期看具備技術生長和產品功能進一步提升的創新條件。

1
  • 整治雙十一購物亂象,國家再次出手!該跟這些套路說再見了
  • 我的新能源汽車發展之路(一)