在大資料處理分析過程中常用的六大工具：

　　Hadoop

　　Hadoop 是一個能夠對大量資料進行分散式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和儲存會失敗，因此它維護多個工作資料副本，確保能夠針對失敗的節點重新分佈處理。Hadoop 是高效的，因為它以並行的方式工作，透過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級資料。此外，Hadoop 依賴於社群伺服器，因此它的成本比較低，任何人都可以使用。

　　HPCC

　　HPCC，High Performance Computing and Communications(高效能計算與通訊)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰專案：高效能計算與 通訊”的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略專案，其目的是透過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施資訊高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴充套件的計算系統及相關軟體，以支援太位級網路傳輸效能，開發千兆 位元網路技術，擴充套件研究和教育機構及網路連線能力。

　　Storm

　　Storm是自由的開源軟體，一個分散式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的資料流，用於處理Hadoop的批次資料。Storm很簡單，支援許多種程式語言，使用起來非常有趣。

　　Apache Drill

　　為了幫助企業使用者尋找更為有效、加快Hadoop資料查詢的方法，Apache軟體基金會近日發起了一項名為“Drill”的開源專案。Apache Drill 實現了 Google"s Dremel.

　　據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，“Drill”已經作為Apache孵化器專案來運作，將面向全球軟體工程師持續推廣。

　　RapidMiner

　　RapidMiner是世界領先的資料探勘解決方案，在一個非常大的程度上有著先進技術。它資料探勘任務涉及範圍廣泛，包括各種資料藝術，能簡化資料探勘過程的設計和評價。

　　Pentaho BI

　　Pentaho BI 平臺不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等元件整合起來，方便商務智慧應用的開發。它的出現，使得一系列的面向商務智慧的獨立產品如Jfree、Quartz等等，能夠整合在一起，構成一項項複雜的、完整的商務智慧解決方案。

個人推薦BDP：BDP分企業版和個人版。因為我是個人使用者，對個人版瞭解的比較多。需要企業版可以去他們官網看。

BDP個人版可以連線大量的國內資料來源，海量資料秒處理～這個口號真不是喊出來的，操作起來也很流暢。

1、資料連線：BDP可連線大量第三方資料，有工具，有API、客戶端、Excel外掛等，以確保資料統計過程的穩定性。BDP支援實時更新（資料庫等），也支援增量更新（同步客戶端）。

3、視覺化分析：圖表型別豐富。除了餅圖、柱狀圖、折線圖、雷達圖這些常見的圖表，還有一些比較”特殊“的圖表，如桑基圖、漏斗圖、詞雲、行政地圖、經緯度地圖、軌跡地圖等。

糖果雲是一個視覺化大資料雲計算平臺，面向個人及團體提供資料與知識的雲端儲存和雲分析服務。

糖果雲視覺化大資料雲

糖果雲的最大特點是具有光速一樣快的大資料搜尋引擎技術，達到毫秒級的搜尋響應。依託大資料搜尋技術，糖果雲提出了視覺化大資料概念，即可以洞察大資料的任意角落，可以任意抽取結構化資料。

1.異構資料來源整合。

整合各業務系統資料，如檔案型的 Excel、CSV；CRM、ERP 等其他系統資料；各種基於雲構建的資料倉庫等。

2.海量資料瞬間處理，萬億級資料量，1秒鐘出圖。

3.快速簡單的動態資料關聯，如業務人員可以輕易地將銷售和天氣資料關聯，進行氣溫對銷售情況的影響的分析。

4.多種主流圖形的配置，拖拉拽方式配置圖表，智慧圖形建議等，非技術人員，10秒鐘就能配置出圖表，5分鐘做出企業每天都要看的資料看板。

5. 互動式資料展示，看板上的圖表可以進行協同過濾，自由的資料維度鑽取，方便檢視資料，讓分析隨心而動。

6.多螢幕同步共享，PC、手機、電視大屏，多種終端螢幕進行視覺化內容的瀏覽分析，方便隨時決策。

7.多樣化部署方式，支援 SaaS、獨立部署、嵌入式整合等方式，滿足企業不同的使用需求。

東軟平臺雲的DataViz

一、拖拽式探索，快速呈現，多種統計方式

簡單拖拽

滑鼠簡單拖拽維度、度量即可快速檢視分析結果，無需複雜操作，方便快捷。

多種統計

系統內建求和、平均值、最大值、最小值、計數、不重複計數等多種統計方式，並可以對統計結果做數值格式處理。

高階計算

除常規統計外，還包含同比、環比等高階計算方式，並可以根據需求進行自定義聚合計算。

二、60餘種視覺化圖表元件及豐富的樣式屬性

資料地圖元件：提供豐富的資料地理資訊展示

支援多種標準行政區劃地圖展示，包括世界地圖、中國地圖、省份地圖、區縣地圖，並支援自定義擴充套件。

GIS地圖元件：基於真實GIS地圖實現多種展現效果

支援高德、百度、谷歌等多種線上地圖，並支援標準WMS服務，可與離線地圖對接

基於GIS地圖層地圖元件：在GIS地圖上顯示區域資料資訊

底圖為GIS圖冊，上層為基於地理區域的資料地圖

3D地圖元件：在立體地圖上顯示地理資料資訊

3D圖表元件：基於三維空間的資料視覺化

三、資料透視表

拖拽動態改變行列維度值，自動進行行列組合進行統計計算，方便使用者進行多維分析

四、基於維度層次的OLAP分析

OLAP上卷、下鑽、鑽透、切片、切塊，可以完成從粗粒度資料到明細資料的逐層探查，幫助使用者發現業務根本問題。

大資料作為時下最火熱的IT行業的詞彙，隨之而來的資料倉庫、資料安全、資料分析、資料探勘等等圍繞大資料的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。隨著大資料時代的來臨，大資料分析也應運而生。

用於展現分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。用於展現分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau 。國內的有BDP，國雲資料（大資料魔鏡），思邁特，FineBI等等。

不過，在這裡推薦一些非專業人員也能完成資料分析的工具 ，個人認為推薦的兩個是比較實用，好上手的資料分析工具，註冊能試用，產品也在不斷改進當中：

1.視覺化工具，圖表秀，能為使用者提供線上圖表製作工具和視覺化交流社群，適合所有行業領域，讓工作成果、報告演示瞬間出彩。

它提供了簡單易用的資料分析與視覺化圖表製作工具，使用者可以基於現有的離線資料、RDB資料以及第三方平臺數據，實現資料的分析與視覺化，挖掘資料價值。透過交流社群以及社交媒體分享機制，讓使用者之間無障礙溝通，打造全領域交流溝通平臺。透過圖表集市，為第三方開發者、領域分析專家與使用者間搭建供需橋樑，建立最新、最專業的適合相關領域的視覺化圖表，構建共贏生態。

2.方便快捷的資料分析工具：dataviz

DataViz為企業使用者提供自助分析能力，透過多維互動分析，幫助使用者快速完成資料探索，獲取第一手資料分析報告，洞悉資料背後隱藏的商業價值，輔助企業決策，提升企業競爭力。

1、spss

是一款用於統計學分析運算、資料探勘、預測分析和決策支援任務的軟體產品；包括描述性統計、均值比較、一般線性模型、相關分析、迴歸分析、對數線性模型、聚類分析、資料簡化、生存分析、時間序列分析、多重響應等幾大類。操作簡單，程式設計方便，資料介面。

2、tabelau

程式很容易上手，各公司可以用它將大量資料拖放到數字“畫布”上，轉眼間就能建立好各種圖表；不需任何程式設計。

3、SAS

是一個模組化、整合化的大型應用軟體系統；SAS提供了從基本統計數的計算到各種試驗設計的方差分析，相關回歸分析以及多變數分析的多種統計分析過程。

4、Python Pandas

正如它的網站所述，Pandas是一個開源的Python資料分析庫，目前由專注於Python資料包開發的PyData開發團隊繼續開發和維護，屬於PyData專案的一部分。Pandas最初被作為金融資料分析工具而開發出來，因此，pandas為時間序列分析提供了很好的支援。

5、Paxata

Paxata是少數幾家專注於資料清洗和預處理的組織之一，是一個易於使用的MS Excel類應用程式。它還提供了視覺化的指導，可以輕鬆地將資料彙集在一起，查詢並修復資料中混雜的噪音或缺失，以及在團隊之間共享和重複使用資料專案。與本文中提到的其他工具一樣，Paxata取消了編碼或指令碼，從而克服了處理資料所涉及的技術障礙。

相關：

資料分析演算法與軟體概覽：https://www.toutiao.com/i6558003166816764423/

大資料分析技術：19個超讚的資料科學和機器學習工具

https://www.toutiao.com/i6585379544813797901/

DataCleaner可將半結構化資料集轉換成資料視覺化工具可以讀取的乾淨可讀的資料集。

說真的，對於大多數企業來說，Excel有其用途，你可以從各種資料來源匯入資料。Excel在手動資料輸入和複製、貼上操作方面特別有用。

Excel能消除重複項，查詢和替換內容，檢查拼寫，還有用於轉換資料的許多公式。

但Excel不適合龐大資料集。

嗯，在我個人看來大資料分析用什麼工具比較靠譜這個問題的話，沒有絕對的權威性，或者說是一個可參照的一個方式去分析這個問題。為什麼呢？因為大資料的大和小，沒有一個絕對的控制性和一個絕對的參考值，那就意味著什麼是大？因此，結合這個問題呢，我們做出以下的回答：

第一，常見的企業使用的大資料分析工具是微軟自帶的工具，其中包含Excel、Access等等自帶的資料庫。簡單的對資料進行整合和篩選。以及獲得的資料來源提供的也是這樣的格式。那麼常見的資料格式有XLS、XLSX、CSV等格式。當然，我們常見的Excel受限於可展現的數量應在65萬作為極限。但是確實許多中小企業常用的首選工具。加上成本非常的低廉。所以受眾面積是最廣的。

第二，常見的儲存工具資料庫應該是MYSQL、SQL等資料庫。這些資料庫操作簡單，儲存的量可以非常的大，關聯性非常強。取用起來非常的容易等特性。要求也比較簡單。因此運用非常的廣泛和實際。

第三，結合資料庫而進一步的視覺化。例如框架和資料組的Hadoop、MongoDB等等，應用於資料視覺化，和資料結構化的，開源工具。

第四，以上的工具都是用於資料儲存和資料的，結構化視覺化。那麼資料分析必然要有開源的資料。因此，這個資料的獲取才是重點，至於如何去分析，我覺得各有所長。各有所不同追求。因人而異，最終而求同。

對於流處理與批處理的實現，最好的就是flink了，能夠同時實現這兩種需求。批處理可以用hadoop、spark實現，不嚴格的流處理可以透過storm、spark streaming實現。

如果只是資料分析，各家都差不多，主要看自身怎麼用，大資料量的話，效能肯定是需要關注的點，國內的Smartbi據說跑個億級資料量，秒級響應，速度很快。

衡量一款大資料分析軟體好不好，取決的因素蠻多的，比如：產品質量，服務支援，效能，價效比等，Smartbi就挺全面，號稱億級資料秒級響應，有這個信心的，產品肯定差不了 。

可以看看東軟平臺雲（https://cloud.neusoft.com/）的DataViz，DataViz是資料視覺化分析平臺，提供多型別資料來源接入、資料集視覺化定義、自助多維資料分析以及互動式故事板等功能，旨在以高效、低學習成本的使用方式，為業務人員提供資料視覺化分析服務，洞悉商業價值，輔助企業決策。可利用 SaCa DataViz 進行自助式多維度探索分析，透過拖拽、鑽取、篩選、排序、計算等多種手段，進行多指標、多維度的綜合分析，滿足個性化的分析需求。

DataViz是東軟平臺雲（https://cloud.neusoft.com/）的資料視覺化分析軟體，提供多型別資料來源接入、資料集視覺化定義、自助多維資料分析以及互動式故事板等功能，旨在以高效、低學習成本的使用方式，為業務人員提供資料視覺化分析服務，洞悉商業價值，輔助企業決策。

衡量一款大資料分析軟體好不好，取決的因素蠻多的，比如：產品質量，服務支援，價效比等，Smartbi就挺全面，各方面做得挺好的 。

大資料分析在於快捷有效地挖掘企業資料價值，找專業資深一點的BI產品會比較靠譜，國內做得比較好的Smartbi產品可以參考下，口碑評價還不錯。