大資料的定義
大資料,又稱巨量資料,指的是所涉及的資料資料量規模巨大到無法透過人腦甚至主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。
大資料的特點
資料量大、資料種類多、要求實時性強、資料所蘊藏的價值大。在各行各業均存在大資料,但是眾多的資訊和諮詢是紛繁複雜的,我們需要搜尋、處理、分析、歸納、總結其深層次的規律。
大資料的採集
科學技術及網際網路的發展,推動著大資料時代的來臨,各行各業每天都在產生數量巨大的資料碎片,資料計量單位已從從Byte、KB、MB、GB、TB發展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。大資料時代資料的採集也不再是技術問題,只是面對如此眾多的資料,我們怎樣才能找到其內在規律。
大資料的挖掘和處理
大資料必然無法用人腦來推算、估測,或者用單臺的計算機進行處理,必須採用分散式計算架構,依託雲計算的分散式處理、分散式資料庫、雲端儲存和虛擬化技術,因此,大資料的挖掘和處理必須用到雲技術。
大資料的應用
大資料可應用於各行各業,將人們收集到的龐大資料進行分析整理,實現資訊的有效利用。舉個本專業的例子,比如在奶牛基因層面尋找與產奶量相關的主效基因,我們可以首先對奶牛全基因組進行掃描,儘管我們獲得了所有表型資訊和基因資訊,但是由於資料量龐大,這就需要採用大資料技術,進行分析比對,挖掘主效基因。例子還有很多。
大資料的定義
大資料,又稱巨量資料,指的是所涉及的資料資料量規模巨大到無法透過人腦甚至主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。
大資料的特點
資料量大、資料種類多、要求實時性強、資料所蘊藏的價值大。在各行各業均存在大資料,但是眾多的資訊和諮詢是紛繁複雜的,我們需要搜尋、處理、分析、歸納、總結其深層次的規律。
大資料的採集
科學技術及網際網路的發展,推動著大資料時代的來臨,各行各業每天都在產生數量巨大的資料碎片,資料計量單位已從從Byte、KB、MB、GB、TB發展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。大資料時代資料的採集也不再是技術問題,只是面對如此眾多的資料,我們怎樣才能找到其內在規律。
大資料的挖掘和處理
大資料必然無法用人腦來推算、估測,或者用單臺的計算機進行處理,必須採用分散式計算架構,依託雲計算的分散式處理、分散式資料庫、雲端儲存和虛擬化技術,因此,大資料的挖掘和處理必須用到雲技術。
大資料的應用
大資料可應用於各行各業,將人們收集到的龐大資料進行分析整理,實現資訊的有效利用。舉個本專業的例子,比如在奶牛基因層面尋找與產奶量相關的主效基因,我們可以首先對奶牛全基因組進行掃描,儘管我們獲得了所有表型資訊和基因資訊,但是由於資料量龐大,這就需要採用大資料技術,進行分析比對,挖掘主效基因。例子還有很多。