回覆列表
-
1 # 此時花盛開
-
2 # 綠食者
大資料呢,指的是現行的軟體工具不能很好的操作,必須透過特有的技能去加工(提取,儲存,搜尋,共享,分析),因為它是龐大的,複雜的資料集合,結構性,非結構性融合在一起,讓人無法下手。
它的特質有這麼4個V(volume、variety、value、velocity)。Volume巨量
例如說,人類生產的所有印刷材料資料量大概260PB(1PB=210TB),而古往今來人類說過的話資料量大約是5EB(1EB=210PB)。拿PC的計算機硬碟來看,容量是TB量級,而某些企業的資料量已經接近EB。
Variety資料型別繁多
一般分為結構化資料與非結構化資料,也就是sql與nosql。相對於以前的結構化資料(便於儲存與處理),如今非結構化資料越來越普遍,如音訊,圖片,日誌,地理位置資訊等等,對從業者的要求不斷提高。
Value價值密度低
價值密度的高低與資料量大小成反比,拿影片來說,一個1小時左右的影片,在連續不斷的監控中,有用資料可能僅有1到2秒。那麼如何透過演算法把更多有用的資訊“提純”出來,讓有用的資料變為1分鐘或更多呢?這是一個大資料技能中要去解決的
Velocity速度快
這是大資料區別於傳統資料處理的明顯特徵。也是最重要的特徵,因為在未來,處理資料的效率就是企業生存的根本。
我是一哥,一個專注於大資料開發的工程師,
對大資料的學習,或工作有問題也能諮詢我。
參與最前沿技術研發
顛覆網際網路行業
高薪offer拿到手軟
成為最炙手可熱的人才