回覆列表
  • 1 # 洋寧天下

    大資料簡單的講就是大量資料資訊的集合,要想對這個概念有一定程度理解,就不能脫離其產生背景

    首先要對三次資訊化浪潮有所瞭解:第一次發生在1980年左右,個人計算機的出現,徹底改變了人們的資訊處理方式;第二次發生在1995年左右,全球資訊網誕生,使網際網路的資訊傳輸效率得到了質的飛躍;第三次發生在2010年左右,以大資料、雲計算、物聯網為標誌的資訊爆炸時代到來。

    在這個過程中,人們對資料增多最直觀的感受就是儲存裝置容量不斷的增加,2000年前後硬碟大小能達到32G就很讓人羨慕了,而現在主流硬碟大小已經上T了,這就是資料資訊呈爆炸式增長的最好證明。

    伴隨著三次浪潮,資料產生方式也隨之發生變化,從資料庫管理模式的被動產生到使用者主動創造內容,資料逐漸成為了各行各業進行決策的主導,最終形成了大資料這個概念。

    大資料的概念包含四個特徵:

    1、大量化,網際網路最近兩年所產生的資料量,相當於之前產生的全部資料量;

    2、多樣化,與人類密切相關的所有事物和行為在網際網路時代都成了資料資訊;

    3、快速化,對資料處理的速度快,從資料生成到決策直接的時間非常少,比如在一分之內,新浪可以發2萬條微博,淘寶可以賣6萬件商品,百度可以進行90萬次搜尋。

    4、價值密度低,但是商業價值高,因為大資料資訊採集的密集度極高,拿道路上的攝像頭為例,每時每刻拍攝的影像都會作為資料進行儲存,如果不發生事故一般是沒有什麼用的,但是一但出現問題就具有非常大的價值。

    所以,大資料作為一種資訊資產,包含了對資訊資料的獲取、儲存、管理、分析,具有很強的戰略意義

    那麼接下來說一說大資料的作用:

    首先一點,大資料顛覆了傳統科學研究和決策處理的思維方式,科學實驗一直是科技發展的核心手段,而過去由於資料有限,一般是透過取樣的方式進行實驗,而大資料時代,可以實現全樣分析。

    第二,大資料對資訊的快速處理技術極大的提高了決策效率,人們不需要過於去關注一些理論或計算問題,而是直接透過資料分析就可以直接做出決策。

    第三,大資料對社會各行各業都產生了深遠的影響和推動作用,大資料技術可以對行業現狀和發展進行精確的分析和預測,而且效率極高,比如谷歌透過對龐大的使用者資料進行分析,能夠非常準確的判斷出當前是否爆發流感,預測結果和美國疾病控制中心的專家預測一致,但是實時性卻要高的多。

    大資料技術與雲技術關係非常密切,可以說是相輔相成,這兩者共同構成了物聯網的基礎設施建設,所以要想更好的對大資料深入理解,還需要對相關概念進行全面學習。

  • 2 # IT人劉俊明

    作為一名網際網路行業的從業者,我來回答一下這個問題。

    首先,網際網路大資料目前已經形成了一個龐大的生態體系,這裡面既包括技術體系,也包括業務體系,涉及到的環節包括資料採集、資料整理、儲存、安全、分析、呈現和應用,隨著大資料不斷開始落地到行業領域,大資料自身也正在開闢出越來越大的價值空間。

    要想解釋清楚網際網路大資料,需要從多個角度來進行解讀,涉及到技術體系,業務體系和發展趨勢等多個方面。從技術體系結構來看,大資料的技術體系以大資料平臺為核心,而大資料平臺則以分散式儲存和分散式計算來展開。目前大資料技術體系已經趨於成熟,基於大資料平臺的生態體系也已經形成了一定的規模。大資料平臺的作用就是完成大資料的技術實現,行業領域可以基於大資料平臺來完成各種大資料創新應用。

    從業務體系來看,大資料本身就打開了一個新的價值空間,這個價值空間就是資料價值,由於網際網路本身就會產生源源不斷的資料,所以大資料的價值增量也會源源不斷。不同的業務體系會產生不同的資料,所以其產生的大資料價值也會有所不同。在產業網際網路時代,行業領域的資料價值將逐漸得到體現。

    從發展趨勢來看,在產業網際網路的推動下,大資料的發展趨勢將逐漸向智慧化領域發展,由於人工智慧是大資料應用的重要出口,所以未來大資料在人工智慧的發展過程中會獲得越來越多的關注。

  • 3 # PaiDB

    建議可以參閱下《大資料時代:生活、工作與思維的大變革》這部書籍。

    大資料,主要是由於現在的基於網際網路、基於雲計算等將算力提高了之後,以前對全量資料無法處理,只能透過各種統計學的方法,獲取樣本資料,然後進行統計,得出結果。

    而大資料,則就是將這個樣本無限的放大,直到全量的資料,透過對全量資料的分析,得到的結果,總比樣本資料得出的更為準確。畢竟省去了中間環節。

    而 Greenplum 作為分散式資料庫,在處理大資料方便,相比傳統的單體式資料庫,最為明顯的感受就是快。正是得益於此類分散式資料庫的發展,使得大家對大資料的處理更加方便,從而也促進了大資料的發展、資料庫技術的發展。

  • 4 # 課工場—武漢

    1.什麼是大資料?

    首先我們來看不同的機構對大資料的定義。

    根據維基百科的定義:

    大資料(big data),是指無法在可承受的時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合。

    所謂大資料,麥肯錫全球研究所給出的定義是:

    一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合,具有海量的資料規模、快速的資料流轉、多樣的資料型別和價值密度低四大特徵。大資料需要特殊的技術,以有效的處理大量的容忍經過時間內的資料。適用於大資料的技術,包括大規模並行處理(MPP)資料庫資料探勘電網、分佈檔案系統、分散式資料庫、雲計算平臺、網際網路和可擴充套件的儲存系統。

    對於“大資料”(Big data)研究機構Gartner給出了這樣的定義:

    “大資料”是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。

    看明白了嗎?簡單來講,大資料就是使用新一代創新技術(不僅僅指 Hadoop ),來收集、儲存、處理和分析海量、多樣化的資料,它可以精益化企業管理,實現企業業務創新,推動企業數字化轉型。

    2.大資料具體的應用行業

    為了便於更深的理解,我們來了解一些未來會有哪些傳統行業會用到大資料?

    醫療行業

    除了較早前就開始利用大資料的網際網路公司,醫療行業是讓大資料分析最先發揚光大的傳統行業之一。醫療行業擁有大量的病例,病理報告,治癒方案,藥物報告等等。如果這些資料可以被整理和應用將會極大地幫助醫生和病人。

    影象識別是機器學習獲得的重大突破之一,使用大量的圖片資料進行深度機器學習訓練,機器可以識別出特定的影象元素,比如貓或者人臉,當然也可以識別出病理特徵。在未來,藉助於大資料平臺我們可以收集不同病例和治療方案,以及病人的基本特徵,可以建立針對疾病特點的資料庫。如果未來基因技術發展成熟,可以根據病人的基因序列特點進行分類,建立醫療行業的病人分類資料庫。

    教育行業

    隨著技術的發展,資訊科技已在教育領域有了越來越廣泛的應用。考試、課堂、師生互動、校園裝置使用、家校關係……只要技術達到的地方,各個環節都被資料包裹。

    透過大資料的分析來最佳化教育機制,也可以做出更科學的決策,這將帶來潛在的教育革命。不久的將來個性化學習終端,將會更多的融入學習資源雲平臺,根據每個學生的不同興趣愛好和特長,推送相關領域的前沿技術、資訊、資源乃至未來職業發展方向,等等,並貫穿每個人終身學習的全過程。

    社交媒體

    在美國總統大選期間,候選人就曾僱傭大資料公司利用社交媒體的資料進行分析,發現選票可能搖擺的地區,有針對性前去進行競選演講。並利用大資料分析選民關注的話題,包裝自己的競選主張。Facebook 也因為授權大資料公司濫用自己使用者的資料而遭到調查和譴責,市值蒸發了數百億美元。

    金融行業

    事實上,金融行業已經沉澱了大量的歷史資料,利用這些資料進行計算,可以得到使用者特徵和風險指數的曲線(即風控模型)。當新使用者申請貸款的時候,將該使用者特徵帶入曲線進行計算,就可以得到該使用者的風險指數,進而自動給出該使用者的貸款策略。

    零售行業

    亞馬遜 Go 無人店使用大量的攝像頭,實時捕捉使用者行為,判斷使用者取出還是放回商品、取了何種商品等。這實際上是大資料流計算與機器學習的結合,最終實現的購物效果是,無需排隊買單,進去就拿東西,拿好了就走,超級科幻有沒有。雖然無人店現在看起來噱頭的意味更多一點,但是利用大資料技術提升購物體驗、節省商家人力成本一定是正確的方向。

    大資料技術的發展帶來企業經營決策模式的轉變,驅動著行業變革,衍生出新的商機和發展契機。大資料的價值,遠遠不止於此,大資料對各行各業的滲透,大大推動了社會生產和生活,未來必將產生重大而深遠的影響。

  • 5 # 恰好喜歡7703

    大資料(big data),IT行業術語,是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。

    在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大資料時代》 [1] 中大資料指不用隨機分析法(抽樣調查)這樣捷徑,而採用所有資料進行分析處理。大數

  • 中秋節和大豐收的關聯?
  • 菠菜如何給一歲寶寶做輔食?