算是兩個不同的概念，大資料是一個概念性的東西，一般指pb級以上的資料量，包括儲存，檢索等，java是語言開發工具，可以開發利用大資料(不僅僅這個)，java開發相對流行一些，還有其它開發語言，如c#，c++等

大資料和JAVA有什麼區別？

說簡單點：你要學習大資料，首先要有JAVA基礎。

JAVA是大資料敲門磚，要學大資料，必先JAVA。

舉例，邦飛科技這類培訓機構教大資料會讓你拿企業專案來做，但是之前，學生會首先學習幾個月的JAVA基礎，因為大資料需要利用JAVA來進行巨大資料量的存讀、篩選等運算。

當然，學習大資料除了學習JAVA，C語言也是必須要了解的。

告各位IT人士：精進自己的專業是職場生存的必需，請不要荒廢時間於玩樂。

什麼時候大資料可以和java劃等號了！

如果是這樣，那java程式猿不是供不應求！

java它只是一種程式語言，現在java有解決大資料問題的框架，所以現有的java專案向大資料遷移，選擇java的大資料解決方案，遷移起來相對修改比較少，而不是java就是大資料！

有本書《大資料時代》推薦大家看一下，裡面介紹了好多大資料方面的內容！

大資料是方法論，JAVA是程式語言。正好大資料中比較流行的開源實踐是使用java開發的，市面上大部分培訓班都用這些框架，才造成了學大資料必須學習JAVA 的局面。

講一堆專業名稱你可能還是沒有看懂。這樣簡單的說學習大資料先要學習JAVA。而大資料比較核心的兩個課程是HADOOP、SPARK。最重要的是培訓機構需要提供真實的企業級實訓專案。這樣畢業後應對面試或上手工作才得心應手。

Java是一門面向物件程式語言，大資料是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是一個概念性的東西。

大資料元件應用分類：資料採集、實時處理、資料儲存、離線處理、互動式查詢、資料展現。

大資料需要學習的技術體系包含Hadoop、spark、kafka、Storm等，Java只是學習大資料技術需要的一個程式設計基礎。

相關：大資料全系技術概覽

https://www.toutiao.com/i6552825781175714308/

大資料無疑是目前IT領域的最受關注的熱詞之一。幾乎凡事都要掛上點大資料，否則就顯得你OUT了。如果再找一個可以跟大資料並駕齊驅的IT熱詞，Java無疑是跟大資料並駕齊驅的一個詞語。很多人在提到大資料的時候總會想到Java，那麼Java與大資料到底是什麼關係？兩者之間有什麼區別呢？

Java是什麼？

一提起Java，大家都不陌生，Java是一門高階的網路程式語言，對於我們現在所用的軟體及APP都是後臺java編寫出來的，對於大資料來說java是一門基礎的工具類語言，Java語言具有功能強大和簡單易用兩個特徵。Java語言作為靜態面向物件程式語言的代表，極好地實現了面向物件理論，允許程式設計師以優雅的思維方式進行復雜的程式設計。

Java和大資料是什麼關係？

大資料框架的編寫支援很多開發語言，但是Java在大資料開發方面有很大的優勢，目前流行的大資料Hadoop框架，很多部分都是用開源的Java語言編寫，因此Java在大資料方面有很大優勢。在大資料的中，也許別的你可能不在意，但是Hadoop想必你是注意到了的吧，大資料中不得不學的重要內容。

Java跟大資料的區別

1.架構層面

Java體系:三層架構 表現層（Web） 業務層(service) 持久層(Dao)

大資料體系：圍繞資料 資料採集（資料來源） 資料儲存 資料計算（分析） 資料展示

2.技術層面

Java: 成熟 解決方案多 技術點集中

大資料：相對年輕 迭代更新快 解決方案相對少 技術相當繁瑣 雜碎

3.開發層面

Java: 程式碼量很大 偏向業務 運維等任務相對較少 固定搭配、習慣用法較多

大資料：程式碼量很少 偏向技術（原理 知識） 運維任務略多（叢集、伺服器等）

4.市場層面

Java: 很成熟 有自己的行業規範 如日中天

大資料：市場起步階段 規範有待健全 朝陽產業（結合人工智慧、機器學習等）

Hadoop 的創始人 Doug Cutting 曾說過：“ Java 在開發者的生產率和執行效率之間取得很好的權衡。開發者可以使用廣泛存在的高質量類庫，切身受益於這種簡潔、功能強大、型別安全的語言。“

換言之：沒有Hadoop就不存在大資料，沒有Java就沒有Hadoop。

總結

大資料以Java技術為基礎，在熟練掌握了Java技術以後，再學習大資料的相關技術會容易很多。

這兩者有本質的區別。

1.Java是一門語言

2.大資料是一個業務。

語言可是做任何業務。

業務也可以用任意的語言技術來實現。

所以兩者並沒有必然的聯絡，只不過現在很多大資料的系統都是用java來實現的，所以用java做大資料開發比較方便。

開拖拉機和小轎車的區別，程式設計的理念和原理相通，不同的技術，入了門，有學習的進取心和興趣，勤奮一點，語言和業務都不是問題

最近發現有些同學並不太瞭解大資料開發工程師這個職位，所以想簡單介紹一下什麼是大資料開發工程師，當前網際網路公司的資料開發到底是什麼樣子的？和一般的Java或者PHP工程師在工作上有什麼區別？

什麼不是大資料開發？

僅使用資料庫（關係型mysql，sqlserver，oracle等 非關係型 mongo redis等），儘管資料量達到千萬級別，億級別不是大資料開發。

從業務系統的資料庫中查詢資料然後產出報表不是大資料開發。

端上（頁面，h5，手機native）埋點上報資料記錄到資料庫中不是大資料開發。

什麼是大資料開發？

大資料開發需要的技能

到智聯上搜了一下大資料開發工程師這個職位，隨便點了幾個職位，截圖如下：

所以說，現在網際網路公司所指的大資料開發用到的工具是：hadoop，hive，hbase，spark，kafka等。

大資料開發做的事情

精簡到一個詞語就是：統計

精簡到兩類指標就是：PV和UV

精簡到一句話就是：統計各種指標的PV和UV

移動網際網路時代，手機應用被使用者開啟的次數和人數也是大家關注的重點，但是除此之外還多出了許多其他非常重要的資料，由於手機螢幕的限制，資訊流成為了移動時代的主流。

如何做這些事情

因為網站的瀏覽行為，手機客戶端中文章的曝光或者點選這些資料非常大，基本以億為單位起。所以傳統的把統計資訊放到資料庫中的方式已經不能完成這項統計工作。（例如：wordpress部落格中，使用者每閱讀一篇文章，mysql中就會更新這篇文章的閱讀次數+1）

所以大資料是透過日誌來統計這些指標。

比如：後臺服務的日誌（apache，tomcat，weblogic，nginx日誌）

例如下圖，我的個人網站apache服務的access日誌。

日誌的url欄位中以 /年份（紅色部分）開頭行數就是這個網站文章頁被訪問的次數，以/category（藍色部分）開頭的行數就是這個網站分類目錄被訪問的次數。

當然我的這份日誌中是統計不了使用者數的，因為使用者數的統計需要在每條日誌上記錄當前使用者的唯一標識，然後再做個去重，去重後的數量就是使用者數，但是這裡沒有上報使用者的唯一標識。

那如何統計人數呢，一般網際網路公司會自己在頁面或者客戶端上生成一個使用者的唯一標識，然後主動上報到自己的日誌伺服器上。

大資料主要難點在於：

日誌量太大（一般大點的網際網路公司，一個業務線每天的日誌都有幾個t，再大些的每天幾十t，幾百t也不奇怪），需要掌握大資料相關技術例如前面提到的hadoop，hive等。

資料的及時性，從離線計算來說，一般每天零點，前一天的日誌都接收完畢，開始計算前一天的資料，幾點能計算完畢？要看各個公司各自的要求。

資料的準確性。（這是重中之重，大資料開發的工作就是統計，統計的資料如果不準....）如果是實時計算，需要掌握實時相關技術。例如：每5分鐘網站的線上人數。

監控監控監控：監控任務是否失敗，資料是否產出，產出的資料是否異常。

容災容災容災：如果任務失敗如何補救。比如實時任務，由於某種原因13:00到14:00的資料沒有，如何把資料補回來。

大資料開發和一般業務開發的對比

在轉做大資料開發之前，一直在用Java作業務系統： 例如hr系統（考勤，薪資等），收費系統。

談談我個人對業務系統開發和大資料開發的理解：

業務系統：

一句話：對資料庫的各種增刪改查操作。

重點難點在於：

對複雜業務的理解上（比如計算工資：基本工資，五險一金，全勤獎，高溫補貼，報銷，獎金，加班費.....等等都需要計算）。

線上服務的穩定，比如facebook，淘寶等網站高併發的壓力下維持網站正常執行。

大資料開發

一句話：對字串的各種算數。

重難點在於：

資料的及時性。例如實時資料中，想知道 12:00~12:10這10分鐘的使用者數，如果這個資料在晚上20點才計算完成，那就沒什麼意義了。再比如，大家應該都有體驗過：在手機上重新整理聞的時候，你點了某一篇文章，再繼續重新整理聞，後面很快會出來不少和前面點選的那篇文章類似的文章，這就是根據你的點選給你及時推薦你有更大可能點的東西。

資料的準確性。這個重要性不言而喻

資料的穩定性和容災。

首先需要明確一點的是:

1. Java是一門高階程式語言，Java開發可以做很多事，比如手機開發app等，是一個工具；2.大資料處理是一門學科，也可以俠義理解為一種科學技術處理方式，透過大資料分析來得到我們想要的結果，裡面當然還包括了很多概念，比如資料清洗，資料儲存，資料庫，資料分析方法等等

我自己就是Java轉做大資料的，下面是我的建議:

Java是一門語言，20年前就誕生了，現在Java就業已經十分飽和，競爭力很大，需要你不斷深入學習。

大資料是Java的一個應用方向，只需要你掌握Java基礎，就可以轉行大資料，大資料人才是我們目前資料時代非常稀缺的人才，就算你現在做Java，以後也得轉大資料，因為你只有懂了大資料，你才能和資料時代接軌。

薪資方面，同等經驗薪資，目前大資料起碼是Java的2倍。

大資料就是玩資料的 特別指某個行業的海量資料 比如12306的車票資料 可以分析出人的流動。JAVA是一門流行的開發語言 用來做大資料 也可以用來做別的

舉個例子 大資料好比籃球 JAVA就是人的手 有手可以玩籃球 乒乓球 網球 等等 但是未必玩的好

大資料就是一個行業，實現同一個需求同樣有多種工具可以選擇，各類框架有Hadoop，spark，storm，flink等，就這類技術生態圈來講，還有各種中介軟體如flume，kafka，sqoop等等 ，這些框架以及工具大多數是用Java編寫而成，但提供諸如Java，scala，Python，R等各種語言API供程式設計。

所以，Java之於大資料，就是一種工具罷了。

大資料框架的編寫支援很多開發語言，但是Java在大資料開發方面有很大的優勢，目前流行的大資料Hadoop框架、map-reduce框架，很多部分都是用開源的Java語言編寫，因此Java在大資料方面有很大優勢！

大資料以Java技術為基礎，在熟練掌握了Java技術以後，再學習大資料的相關技術會容易很多。