首頁>Club>
怎麼定義大資料的?
13
回覆列表
  • 1 # 毒聚一方

    大資料現在其實很多東西存在法律風險!畢竟大資料要的是蒐集使用者的各種習慣各種行為,但很容易涉嫌隱私洩露。再者大資料的掌控和蒐集對於使用者也存在一定危險,譬如利用惡意軟體違規蒐集的資料轉手賣出去。。。。。而國內目前的網際網路的法律漏洞還是很多。。。估計大資料要做到滿意路很長要走

  • 2 # JOYING152429555

    大資料(big data),指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。

    大資料的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。——參考百度百科的解釋

    通俗點來說,就是你公司內部的財務表,每個人的年齡,工齡,工資這樣的資料不能成為大資料。大資料是一個城市裡有幾個公司,在25~30歲這個年齡層的職員數量,薪酬在5000~8000元的人佔比多少,這樣的資料就是大資料。

  • 3 # 機器之心Pro

    大資料 Big Data, 據說源出自Alvin Toffler上世紀70年代的作品《第三次浪潮》。最早提出大資料時代到來的是全球知名諮詢公司麥肯錫,麥肯錫稱:“資料,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對於海量資料的挖掘和運用,預示著新一波生產率增長和消費者盈餘浪潮的到來。”

    目前,一些專業人士將大資料概括為四大特徵,即“4V”: 數量大(Volume),資料量級已從TB(1012位元組)發展至PB乃至ZB,可稱海量、巨量乃至超量;多樣性(Variable),資料型別繁多,多為網頁、圖片、影片、影象與位置資訊等半結構化和非結構化資料資訊;速度快(Velocity),資料流往往為高速實時資料流,而且往往需要快速、持續的實時處理,處理工具亦在快速演進,軟體工程及人工智慧等均可能介入;低價值密度(Value),以影片安全監控為例,連續不斷的監控流中,有重大價值者可能僅為一兩秒的資料流,360度全方位影片監控的“死角”處,可能會挖掘出最有價值的影象資訊。

    大資料到底有多大?先舉個例子來說,歐洲研究組織進行的核試驗每秒鐘能產生40TB的資料。一組名為“網際網路上一天”的資料告訴我們,一天之中,網際網路產生的全部內容可以刻滿1.68億張DVD;發出的郵件有2940億封之多,相當於美國兩年的紙質信件數量;發出的社群帖子達200萬個,相當於《時代》雜誌770年的文字量;賣出的手機為37.8萬臺,高於全球每天出生的嬰兒數量37.1萬……截止到2012年,資料量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。隨著計算機硬體成本、計算機記憶體成本的降低和超級叢集計算機的產生,使得處理大規模的複雜資料成為可能,這樣就產生以結構化(股票交易資料)、半結構化(網路日誌)和非結構化(文字資料、音訊資料、影片資料)為主的大資料。其中非結構化資料佔網際網路資料總量的80%。

    《大資料時代》作者維克托·邁爾-舍恩伯格說:“大家都在說大資料,大資料到底有多大?到底有多少資訊說到zb位元組,我們說10的21次方,這是什麼意思?它的含義是什麼?它如何發揮作用? 1987年他還在讀大學,當時資料世界還沒有達到30億gb,而到了2007年,增加到3000億gb,20年間資料提高了100倍。如果回溯歷史的話,上一次資料如此快速增長是因為印刷的革命,用了50年實現資料翻一番的增長。如今20年間就實現了。”

    IBM的研究稱,整個人類文明所獲得的全部資料中,有90%是過去兩年內產生的。而到了2020年,全世界所產生的資料規模將達到今天的44倍。每一天,全世界會上傳超過5億張圖片,每分鐘就有20小時時長的影片被分享。然而,即使是人們每天創造的全部資訊——包括語音通話、電子郵件和資訊在內的各種通訊,以及上傳的全部圖片、影片與音樂,其資訊量也無法匹及每一天所創造出的關於人們自身的數字資訊量。這樣的趨勢會持續下去。

  • 4 # 西線學院

      這其實是個非常有趣的問題,大家的回答目前好像很不一致,不過這種模稜兩可併名優阻擋資料的使用,一種比較普遍的誤解就是大資料就是根據資料的大小來確定的,如果它是資料,而且還很大那它就一定是大資料,資料大小事判斷的原則之一,大資料很多其它方面的屬性跟資料的大小關係不大,例如:考慮資料產生的速度和同時在產生資料的資料來源數量和種類。

      我們來看看,到底是透過什麼來界定大資料的。我想我們都會同意,一個40MB的PPT演示檔案、1TB的醫療影象和1PB的電影檔案都很大,不過我們的問題是,它們是大資料嗎?僅從它們的大小來說,我可以爭辯說它們不是大資料,今天看來很大的檔案明天也許就不算大了,不過我會說它們都是大資料,因為它們中的每一個都將應用它們的普遍技術推到了極限。40MB的PPT演示檔案是大資料,因為沒法跟同事和客戶用電子郵件分享;1TB的醫療影象是大資料,因為無法輕易並充分地在遠端顯示器上實時顯示,以供醫生在為病人進行診斷使用;1PB的電影是大資料,因為無法在有效時間內對影片進行合理剪輯。

      這是個好的開始,我們已經糾正了對於大資料的最大誤解,那就是大資料就是看資料多大,我們能看到大資料有各種屬性,大小隻是其中之一,它們還能調整到系統的效能限制或是商業需求,但像資料產生速度這樣的屬性呢?或是產生資料的來源數量和種類呢?這些沒法滿足的定義,這就是為什麼大資料能適用於從大小上來說根本不大的資料,有些能夠成為大資料是因為它們的份數,因為它們由很多以某種關係聯絡起來的小資料碎片組成,這些數量眾多的小資料組合在一起,就是大資料。比如說這些份資料,能在智慧電錶上看到,它們被用於世界範圍的每個家庭,資料被傳到電力公司,記錄每家每20到30分鐘產生和消耗的電力。

      現在把這個數量乘以一個城市的家庭數量或是一個小鎮的家庭數,大資料指的就是在一定時間之內或是在一定地理範圍之內需要分析的資料份數,大份數資料還能在日誌中找到,資料輸入的次數非常之多,合在一起就形成大資料。在交易處理中也有大資料,很多交易合在一起,產生的資料庫就有大資料。大資料的另一個又去的方面就是從結構來看,大資料並不都是一樣的,有些大資料有固定的格式。比如:交易型資料庫,每一條錄入資訊都能分成幾種範疇,每一個都有明確定義的資料型別。有些大資料包含部落格類錄入資訊,裡面包含文字、圖表、影象、聲音和影片,這些資料都存在一起。

      這就帶來了大資料的最後一方面,生成的多樣性以及相互的關聯性。大資料的生成,從應用程式自動生成的資訊,比如天氣預報的影象到簡單的錄入資訊;比如人們錄下的日常生活片段;或者是鍵入的文字資訊,大資料的更新速度也很驚人,而且具有互動性和增量性,產生的資料隨時間不斷變化,而且隨著時間推移,資料會越來越準確,而且產生運算並推匯出更多與資料相關的資料。

      不管大小如何,資料的產生速度和來源如何,或是資料的哪一部分,大資料趨驅使我們去盡力理解這種混沌,大資料驅使我們在不斷變化的資料裡尋找它們的意義所在,並且尋找所產生資料之間的聯絡。對這種相互關係的理解,加上能收穫藏在大資料裡資訊解開了大資料的價值,而這以能夠處理我們大資料的挑戰為前提。

  • 5 # 智雲通CRM

    關於大資料,業界並沒有一個統一的定義,但卻有幾個一致的觀點。有兩份資料很好地詮釋了大資料的本質。第一個定義來自於Gartner公司的Merv Adrian在2011年第一季度刊登在《Teradata Magazine》上的一篇文章。他說,“大資料超出了常用硬體環境和軟體工具在可接受的時間內為其使用者收集、管理和處理資料的能力。”另一個定義來自於麥肯錫全球資料分析研究所(Mckinsey Global Institute)在2011年5月發表的一篇論文:“大資料是指大小超出了典型資料庫軟體工具收集、儲存、管理和分析能力的資料集。”

    這些定義暗示著大資料的界定會隨著技術的進步而變化。以往的大資料或今天的大資料,在明天將不再是大資料。大資料的這個定義會使有些人感到不安。前面的定義又暗示著大資料的界定會隨著行業甚至企業的不同而不同,因為它們所用工具和技術的處理能力可能大相徑庭。

    麥肯錫的論文中列舉了一些有趣的事實,這些事實能夠幫助讀者認識今天的資料量是多麼龐大。

    大資料的“大”並不僅僅指容量

    儘管大資料必然包含大量的資料,但是大資料並不僅僅指資料的容量。與過去的資料來源相比,大資料的速度(例如,資料傳輸和接收的速度)、複雜度以及多樣性都有所增加。

    大資料並不是僅僅指資料的容量即資料量的大小。根據Gartner Group公司的定義,大資料的“大”也涉及大資料來源的其他特徵。這些特徵不僅僅包括不斷增加的容量,還包括不斷增加的速度和多樣性。當然,這些因素也導致了額外的複雜度。這意味著當你在處理大資料時,你並不僅僅是拿到了一堆資料而已。大資料正在以複雜的格式,從不同的資料來源高速地朝你奔湧而來。

    所以,不難理解為什麼我們要用浪潮來比喻湧向我們的大資料,以及為什麼駕馭它們是一個挑戰!企業的分析技術、流程和系統已經接近或者超越處理的極限了。我們必須利用最新的技術和方法開發更多的分析技術和流程,從而更加有效地分析和處理大資料。

  • 中秋節和大豐收的關聯?
  • 讀完卡夫卡的《變形計》,你有什麼收穫,或者說有何明悟?