-
1 # 青島中科祥雲大資料
-
2 # 智慧小北
有人把資料比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大資料並不在“大”,而在於“有用”。價值含量、挖掘成本比數量更為重要。對於很多行業而言,如何利用這些大規模資料是贏得競爭的關鍵。
大資料究竟是什麼?怎麼理解呢?
對於“大資料”(Big data)研究機構Gartner給出了這樣的定義。“大資料”是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力來適應海量、高增長率和多樣化的資訊資產。
麥肯錫全球研究所給出的定義是:一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合,具有海量的資料規模、快速的資料流轉、多樣的資料型別和價值密度低四大特徵。
大資料技術的戰略意義不在於掌握龐大的資料資訊,而在於對這些含有意義的資料進行專業化處理。換而言之,如果把大資料比作一種產業,那麼這種產業實現盈利的關鍵,在於提高對資料的“加工能力”,透過“加工”實現資料的“增值”。
從技術上看,大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理,必須採用分散式架構。它的特色在於對海量資料進行分散式資料探勘。但它必須依託雲計算的分散式處理、分散式資料庫和雲端儲存、虛擬化技術。
隨著雲時代的來臨,大資料(Big data)也吸引了越來越多的關注。分析師團隊認為,大資料(Big data)通常用來形容一個公司創造的大量非結構化資料和半結構化資料,這些資料在下載到關係型資料庫用於分析時會花費過多時間和金錢。大資料分析常和雲計算聯絡到一起,因為實時的大型資料集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大資料需要特殊的技術,以有效地處理大量的容忍經過時間內的資料。適用於大資料的技術,包括大規模並行處理(MPP)資料庫、資料探勘、分散式檔案系統、分散式資料庫、雲計算平臺、網際網路和可擴充套件的儲存系統。
從國際經驗看,在歐美等發達國家,大資料行業在信用經濟、消費經濟、普惠金融等領域扮演著不可替代的角色。隨著與人工智慧、機器學習等技術的融合發展,大資料分析在中國也進入到了發展的快車道。根據IDC最新報告預測,2019年度全球大資料與智慧分析的市場為1896.6億美元,其中來自中國的市場貢獻將達到96億美元,預計2019年至2023年複合年均增長率達23.5%。
市場很大,但是問題也很多。資料洩露就是人們現在關注比較多的問題。現在看上去,大資料就像是人類的繁星似的慾望,想得到的太多,又發展的太快,中間的問題都來不及處理,很容易一著不慎玩出火。
-
3 # IT資訊i
1、我理解的大資料就是:資料量大(Volume)、資料種類多樣(Variety)、 要求實時性強(Velocity) 。對它關注也是因為它蘊藏的商業價值大(Value)。也是大資料的4V特性。符合這些特性的,叫大資料。
2、對它關注一個原因就它的大價值,比方ebay,建立的大資料分析平臺可以準確分析使用者的購物行為。透過對顧客的行為進行跟蹤、對搜尋關鍵字廣告的投入產出進行衡量,最佳化後eBay 產品銷售的廣告費降低了99%,頂級賣家佔總銷售額的百分比卻上升至32%。就大資料價值這一塊,例子很多,詳情可以再自己查查。
再一個對它關注的原因就是因為這麼大量和複雜的資料確實不好管理,這樣就有了處理大資料的一些技術,比如Hadoop。Hadoop是個開源的,像百度做搜尋,就用Hadoop管理資料。淘寶在2011年11月11日,搞得優惠活動,你想想在零點的時候,淘寶點選有多高,每一筆買賣算一個數據請求,那怎麼保證網站的正常運轉啊?這些就是一些技術方面的關注了。
3、它的作用更多,拿球賽說,我們現在可以透過比賽錄影找出對手缺點了。有個大資料應用是影片教練工具,用這個工具,球員可以比較和對比同一投球手的不同投球,或是幾天或幾周的投球情況的時間序列資料。
4、解決的問題。你問的大資料解決什麼問題,應該是處理大資料的技術解決什麼問題。透過我上面說的,你大概也能知道一點了,管理大規模的複雜資料需要用到大資料的技術,透過大資料的技術把這些大資料管理分析好了,可以使企業領導對各方面有更明確的認識,做出更好的決策。
總結下:大資料更多的體現資料的價值。各行業的資料都越來越多,在大資料情況下,如何保障業務的順暢,有效的管理分析資料,能讓領導層做出最有利的決策。這是關注大資料的原因。也是大資料技術要解決的問題。
回覆列表
大資料作為第三次資訊化浪潮的代表技術,受到了科技領域的廣泛關注,隨著大資料技術體系的日趨成熟,大資料技術目前也正處在落地應用的初期。
要想正確認識大資料的價值,應該從多個維度進行分析,但是其中一個比較關鍵的內容就是大資料開闢出了新的“價值領域”,這個價值領域的核心就是資料價值化。在資料價值化的推動下,整個大資料技術體系能夠構建出一個全新的生態體系,而生態體系正是產業鏈的基礎,而且由於大資料本身會隨著網路化的不斷髮展而逐漸發展,所以未來大資料這個價值領域會逐漸龐大。
大資料價值化不僅涉及到網際網路行業,更涉及到廣大的傳統行業,可以說未來有資料的行業就離不開大資料,因此未來大資料的發展空間會非常大,也會成為一個新的創業創新的熱點領域。在大資料技術體系日漸成熟的大背景下,行業領域都在積極探索如何讓大資料完成落地應用,大資料的落地應用也將在很大程度上推動產業網際網路的發展。
雖然大資料開闢出了新的價值領域,但是大資料本身並不是目的,大資料的應用才是目的,這也是大資料在落地應用過程中遇到的困難。