-
1 # 蔓莓愛畫畫
-
2 # IT人劉俊明
大資料是我的主要研究方向之一,所以我來回答一下這個問題。
首先,大資料本身代表一個龐大的技術體系結構,從技術體系結構來劃分,涉及到資料的採集、整理、儲存、安全、分析和呈現等一系列技術標準,而資料庫僅僅是大資料技術體系中的一個環節,主要用於資料的儲存,以及部分資料管理任務。
從當前大資料平臺的體系結構來看,大資料平臺主要以分散式儲存和分散式計算兩大基礎技術來展開,其中分散式儲存就涉及到資料庫。大資料的資料結構與傳統的資料結構有很大的不同,傳統的資料庫資料主要以結構化資料為主,而大資料系統中的資料往往有非常複雜的資料結構,其中既有結構化資料,也有大量的非結構化資料和半結構化資料,所以目前大資料技術體系不僅會採用傳統的資料庫來儲存資料,也會採用NoSql資料庫來儲存資料,這也是大資料時代對於資料儲存方式的一個重要改變。
從當前大資料落地方案來看,大資料系統會同時採用關係型資料庫和NoSql資料庫,而且為了方便傳統的資料庫人員操作NoSql資料庫,大資料平臺也增加了相應的功能模組。從這個角度來看,未來傳統的關係型資料庫和NoSql資料庫會長期並存,共同來完成資料管理任務。
從大資料的發展趨勢來看,未來大量的大資料應用都會藉助於大資料平臺來展開,所以目前大型科技公司往往更關注於大資料平臺研發,而對於中小型科技公司來說,藉助於大資料平臺來完成行業創新應用,也會分享到大資料時代的發展紅利。
-
3 # Hengda漂流記
資料庫只是存放資料的倉庫,無需對資料進行分類分析理解。
大資料是,透過收集大量的相關屬性資料樣本,經過提取歸類統計得到分佈等規律。這些資料是可以放在資料庫、快取、檔案或其地方。需要時可以用資料庫調取統計。
-
4 # Lake說科技
從大資料在引申出來的技術,比如資料量大的情況,怎麼儲存資料,以及怎麼對這些資料進行加工處理。像現在 HBase 大資料元件,主要是針對大資料儲存的,Hadoop MapReduce 計算框架、Spark 計算框架等,則是針對大資料計算的。
大資料與資料庫之間的關係,從大資料涉及到的技術中,包括資料庫技術。因為在大資料情況下,也需要儲存這些資料,此時就需要使用到資料庫。當然,大資料技術儲存資料不僅僅能夠使用到資料庫,還可以使用分散式檔案系統,比如 HDFS 分散式檔案系統,亞馬遜的 S3 等。
同時,在大資料所涉及到的技術中,也包括了大資料計算、資料的展示等等。所以從技術領域來區分,大資料的技術會更廣,而資料庫技術則是更加的具體,就是用來儲存資料。
目前在國內網際網路公司而言,大資料方面資料庫使用最多的還是 HBase 列式資料庫。比如阿里巴巴,其內部有很多使用 HBase 列式資料庫的場景。HBase 資料庫支援水平擴充套件,同時由於其採用 LSM 架構,天然的對資料寫入支援非常好,因為是對磁碟進行追加寫的模式,這比對記憶體隨機寫要更加的快速。
不僅僅是阿里,像在小米其實也有很多使用 HBase 列式資料庫的場景,當然,其他小公司也在使用。所以在未來,我認為 HBase 列式資料庫的發展前景非常好,畢竟也有網際網路大廠在使用,開源社群方面也有它們在推動發展。如果你想學習一門大資料方面的資料庫技術的話,我推薦你可以學習 HBase。
-
5 # 前端達人大資料形式很多,內容十分巨大,資料庫只是大資料儲存方式之一
說了這麼多,到底什麼大資料,大家應該有個大概的認識了吧。對於大資料,麥肯錫全球研究所給出的定義是:一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合。從這句定義來看,所謂大大資料足夠的大,大到傳統的資料庫都無法儲存的地步。
我們以前做個網站,比如追溯到03年左右,那時候asp動態網站很流行,一個小型企業官網,微軟的ACCESS檔案資料庫就足以應付,稍微大點的MySQL、SQLServer這些關係資料庫已經夠用。但是到了如今,大資料產生的資料實在太多,這些過去傳統的資料庫儲存形式已經遠遠滿足不了現在網際網路的需求了,很多大資料容量都達到PB以上級別,必須藉助於更先進的技術和更大容量的儲存裝置,如現在的大資料基本都採用分散式系統、雲資料庫和NoSQL資料庫等儲存技術方式。大資料的形式也不同於過去簡單的文字型別了,在當下形式更加豐富,大資料很難說清楚是具體儲存哪些類別的資料,也可以說只要能被智慧裝置收集的,都可能成為大資料的一部分,可能包括各種記錄表格、文件、日誌、圖片、音訊、影片等等。
ZB是一個多大的單位呢?讓我們來看看一張換算關係圖,如下圖所示:
如果你對上面的數字沒有概念,讓我來舉一個更形象的例子吧,1ZB大概是1.1萬億GB,等同於全世界沙子數量總和。沙子是多麼的渺小,能把沙子數字化,並裝進計算機系統,要損耗多少儲存硬體啊,想想都是一件可怕的事情!
大資料的應用場景十分廣闊 -
6 # 運維老男孩
首先,大資料本身代表一個龐大的技術體系結構,從技術體系結構來劃分,涉及到資料的採集、整理、儲存、安全、分析和呈現等一系列技術標準,而資料庫僅僅是大資料技術體系中的一個環節,主要用於資料的儲存,以及部分資料管理任務。
從當前大資料平臺的體系結構來看,大資料平臺主要以分散式儲存和分散式計算兩大基礎技術來展開,其中分散式儲存就涉及到資料庫。大資料的資料結構與傳統的資料結構有很大的不同,傳統的資料庫資料主要以結構化資料為主,而大資料系統中的資料往往有非常複雜的資料結構,其中既有結構化資料,也有大量的非結構化資料和半結構化資料,所以目前大資料技術體系不僅會採用傳統的資料庫來儲存資料,也會採用NoSql資料庫來儲存資料,這也是大資料時代對於資料儲存方式的一個重要改變。
從當前大資料落地方案來看,大資料系統會同時採用關係型資料庫和NoSql資料庫,而且為了方便傳統的資料庫人員操作NoSql資料庫,大資料平臺也增加了相應的功能模組。從這個角度來看,未來傳統的關係型資料庫和NoSql資料庫會長期並存,共同來完成資料管理任務。
從大資料的發展趨勢來看,未來大量的大資料應用都會藉助於大資料平臺來展開,所以目前大型科技公司往往更關注於大資料平臺研發,而對於中小型科技公司來說,藉助於大資料平臺來完成行業創新應用,也會分享到大資料時代的發展紅利。
回覆列表
小型資料庫一般都是用於資料量不是很大的軟體中;主要用的是mysql、db2;軟體型別一般是辦公軟體(公司、單位內部用)。大型資料庫一般都是用於資料量很大的軟體中;主要用的是oracle;軟體型別一般是網站開發(面向眾量使用者)。 ------------- 如果我回答對你有幫助,請關注我一下。或有其他問題也可以關注我,給我發私信