大資料只是一個稱呼，表示可以對大量資料處理，分析出來一些趨勢，比如股票價格，豬肉價格等，而java語言是一種高階程式語言，可以開發軟體，也可以去作為大資料開發專案使用的語言，比如Hadoop，hive，flink，hbase。Java語言開發的軟體程式可以無需使用者去關心記憶體的分配。

首先要明確一點，大資料是一個行業方向，而Java是一門開發語言

大資料是什麼

大資料是近幾年的一個專業名詞，以海量資料為核心，產生資料分析結果的技術處理過程和處理方式。大資料本身不在於原始資料的多少，而在於透過大資料分析資料產生之後的應用資料的價值是什麼。

大資料最開始用的技術大家都認為是Hadoop，但實際上大資料處理的方式多種多樣，處理的技術語言可選性也很多，Java是其中一種，但並不是唯一的一種。 像C、GO、Python都可以處理大資料。

當然基於大資料的資料儲存和計算的要求，雲計算和大資料也算是共生共存的。

Java是什麼？

Java是一種跨平臺的開發語言，應用的場景很多， WEB，SERVICE，API，APP等等，算是目前各開發語言當中綜合能力最強的一種。目前來看市場中Java開發的就業機會還是最高的。

說到這裡，我想你應該能足夠解答你的問題了。

因為現在是大資料時代，Hadoop，flink等等技術都比較吃香，大資料主要是做資料的處理，需要一定的演算法基礎，而做大資料至少需要一門開發語言作為支撐，很多人從事大資料選擇的都是Java語言，而單純的Java語言只是做開發的

大資料是以Java開發為基礎的，大資料是處理各種形式的海量資料，Java是做開發的，軟體開發等，我是學的開發，在北京一家公司，薪資也還行，在中公學的，現在也還挺滿意，比以前薪資高很多

一：兩者關係

java是計算機的一門程式語言；可以用來做很多工作，大資料開發屬於其中一種；

大資料屬於網際網路方向，就像現在建立在大資料基礎上的AI方向一樣，

他兩不是一個同類，但是屬於包含和被包含的關係；

java可以用來做大資料工作，大資料開發或者應用不必要用java，可以Python，Scala，go語言等。

二：發展：

java屬於語言，程式語言的發展未來說不準，至少現在java變成還是不錯的前景，大資料大部分框架都有java的支援或者底層是java寫的；

大資料的發展，概念可以理解為社會進步資料的巨量增加帶來的價值性利用，成為大資料的一個方向。就像AI建立在大資料的資料量的基礎上，未來會一直往技術前進的方向發展。

三：總結：

java目前算是主流，可以多學幾門語言，技多不壓身，百利而無一害對於開發；

大資料的這個方向，不會消失，只會隨著技術的發展更加智慧性。

大資料是一種概念，Java是一種程式語言，兩者說實話沒有實質性的關係。而目前很多人認為大資料和Java有一定的關係，原因是因為現在有很多大資料開源專案都是使用Java語言來開發的，這才有了有關係一說。

大資料指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。JAVA是一種程式語言。大資料可以用JAVA實現。下面是具體介紹。

大資料是一個概念包含幾個方面的內涵

1. 資料量大，TB，PB，乃至EB等資料量的資料需要分析處理。

2. 要求快速響應，市場變化快，要求能及時快速的響應變化，那對資料的分析也要快速，在效能上有更高要求，所以資料量顯得對速度要求有些“大”。

3. 資料多樣性:不同的資料來源，非結構化資料越來越多，需要進行清洗，整理，篩選等操作，變為結構資料。

4. 價值密度低，由於資料採集的不及時，資料樣本不全面，資料可能不連續等等，資料可能會失真，但當資料量達到一定規模，可以透過更多的資料達到更真實全面的反饋。

Java是面向網路的程式設計語言，用來讓程式設計師建立應用程式，這些應用程式可以透過網路下載，而且可在任何計算平臺上安全地執行。如果再加上萬維網和公司內部網體系，你將會擁有一個標準的網路計算環境，Java作為一個分散式的，面向物件的程式設計語言，可以讓位於任何地方的任何計算機應用網路上的應用程式

--------------河南新華

對於大資料和Java語言的區別，我覺得還是很大的，有多大呢？可能就跟“建築工人與樓房的區別”一樣，當然這個比喻可能也不是很恰當，大約就是這樣吧。

為啥這樣說呢？

大資料：

大資料確切的說，它並不能算一門具體的技術，而是一種概念，一種大的技術範疇。大資料主要是用來處理，分析，儲存海量資料，對這些大量的資料進行加工處理等操作。大資料領域裡面涉及到Hadoop，hive，flink，hbase，java等各種具體的技術,看清楚，在這裡Java也可以為大資料的實現提供服務哦。所以可以說，Java可以幫助我們實現大資料的開發，Java就像是一個“建築工人"，它可以把各種資料原料整合在一起，構建出大資料這麼一個環境。

Java：

Java就是一門面向物件的高階程式語言，可以用Java實現Android，Web，Swing等各中軟體的開發，是一門具體的技術。

大資料，資料量到達一個級別可以算大資料，

現在的Java可以處理大資料，分散式儲存，計算等，

他們兩個就沒有可比性

想要了解大資料和Java語言區別是什麼？我們先來簡單瞭解一下他們定義的範疇：

大資料：簡而言之，就是海量的資料，資料種類繁多，資料結構多變，資料儲存方式不同，需要透過工具去收集這些資料，然後儲存在儲存介質的叢集上。

java：java是一門計算機的程式語言，可以編寫桌面應用程式、Web應用程式、分散式系統和嵌入式系統應用程式。

從定義可以大概瞭解到大資料和java語言區別應該是java語言只是大資料中的一門開發工具語言，具體是怎麼樣？我們一起來看看大資料架構和java語言在大資料中應用。

大資料架構

一、資料來源

日誌資料：應用系統的執行日誌，使用者訪問的行為日誌等

DB資料：企業內部業務系統的資料，例如客戶管理系統的客戶資料，訂單系統的訂單資料，物流系統的物流資料等

流式資料：簡單的理解就是實時採集的資料，源源不斷像流水一樣產生的資料，例如淘寶上使用者的訪問記錄

網際網路資料：網際網路資料有兩種，一種是自己去採集的資料，一種是跟外部企業合作的資料，例如可以開發爬蟲程式去爬取網站上公開的資訊，和淘寶京東合作利用客戶購買行為資料等

其他資料：還有一些其他方面的資料，例如硬體裝置產生的資料，特別是現在IOT物聯網的火熱，就是將所有硬體裝置的資料收集起來進行分析

二、資料接入

資料來源的多種多樣，所以在資料接入技術和工具上也是多種多樣的，常用技術和工具有以下幾種：

Sqoop：一款用來在Hadoop（Hive）和關係型資料庫之間傳輸資料的工具，可以將一個關係型資料庫中的資料匯入到HDFS（Hive）中，也可以將HDFS中的資料匯入到關係型資料庫中，主要是針對於DB資料來源的資料接入。

Flume：一個分散式的、高可靠的、高可用的將大批次的不同資料來源的日誌資料收集、聚合、移動到資料中心（HDFS）進行儲存的系統，主要針對於日誌資料的收集和推送到資料倉庫，類似的還有ELK體系的Logstash元件。

Kafka：一個分散式流處理平臺，用於構造實時流資料管道，它可以在系統或應用之間可靠地獲取資料，具有高效能、持久化、多副本備份、橫向擴充套件能力，主要針對於流式資料的接入

三、資料儲存

說到資料儲存，大資料的發展歷史離不開一個叫Hadoop的家族產品，可以很直接的這麼說，沒有Hadoop就沒有大資料，國內很多大資料公司一開始建立的資料儲存數倉都是基於Hadoop體系建立的，那麼Hadoop到底是什麼呢？

Hadoop是一個分散式檔案系統（Hadoop Distributed File System），簡稱HDFS。簡單的理解就是，可以利用大量便宜低端硬體配置的伺服器，組建成一個跨伺服器的儲存叢集，資料可以儲存在多個伺服器上，實現大資料量的儲存和降低硬體成本。

Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的資料提供了儲存，而MapReduce則為海量的資料提供了計算。

說到資料儲存，不得不說一下資料倉庫的架構，不同於傳統的業務系統使用的關係型資料庫，Hadoop一個分散式檔案系統，儲存方式是按照檔案的儲存方式，所以就有了資料倉庫架構的說法。資料倉庫的架構主要有星型和雪花型兩種方式：

星型：一種使用關係資料庫實現多維分析空間的模式，稱為星型模式。星型模式的基本形式必須實現多維空間（常常被稱為方塊），以使用關係資料庫的基本功能。

雪花型：當星型模式的維度需要進行規範化時，星型模式就演進為雪花模式。

大資料的資料倉庫架構主要採用雪花型架構，因為資料來源的多樣化，導致資料結構也是多樣化的。不同於關係型資料庫，都是基於二維表的形式，而大資料的資料有文字資料，日誌資料，裝置資料，爬蟲資料，業務資料等，所以從接入資料到數倉還需要經過ETL（抽取-extract、轉換-transform、載入-load）清洗的過程才能落地到資料倉庫。一般資料倉庫架構可以分為五層：

DIM層：DIM層主要用來儲存一些基礎的維度表，很少會改動MID層：MID層主要是用來處理根據業務邏輯和指標口徑篩選出來的資料DW層：DW層根據主題分類，將資料按照不同的主題建立資料表儲存和進行維度化DM層：DM層主要是面向應用層的建模，例如一張分析報表需要展示不同維度和指標的分析，那麼根據這些維度和指標從DW層的不同主題分類中的資料關聯出來，形成一張資料表給報表使用。

四、資料應用

資料分析報表：基於業務需求開發的固定維度和指標的分析報表

移動端資料視覺化：基於手機端App展示的資料圖形視覺化應用

大屏視覺化駕駛艙：基於大屏端資料圖形視覺化，資料高度彙總，大而全

機器學習風控模型：基於機器學習演算法訓練出統一規則的模型，用於貸前，貸中或者貸後風控評審關卡。

java語言

在這裡就不在過多的描述java的作用了，我們來聊聊java語言在大資料中可以做什麼？

從上文大資料架構來看，java語言主要可以應用於開發資料應用和大資料工具，例如java web開發資料分析報表，移動視覺化分析，大屏視覺化駕駛艙等，也可以用於開發一些資料處理過程中用於自動化和便捷開發的工具，例如排程系統：用於資料清洗作業的自動化依賴排程；補錄系統：用於資料缺失值的視覺化補錄表，便於資料治理的自動化；釋出平臺：用於排程作業一鍵從不同環境之間部署和資料同步審批等。

什麼是大資料

大資料（big data）是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。

面對如此大量的資料，資料的儲存和計算分析成為主要問題。

大資料應用領域

醫療

大資料幫助醫療機構實現全院業務自動部署、IP裝置無感准入管理，確保應用體驗，且不再需要耗費大量人力和時間處理故障、問題，全面助力醫療機構的“智慧醫療"轉型。

電子政務

大資料的發展，將極大地改變政府的管理模式，有利於節約政府投資、加強市場監管能力、提高政府決策能力、提升公共服務能力，實現區域化管理。

城市建設

目前，我國有60多個城市，將構建“智慧城市”的目標列入“十二五規劃”中。智慧城市即利用大資料的整合和分析來治理社會。2013年兩會期間，有代表提議將發展大資料上升為國家戰略

金融領域

高頻交易：實時性要求高、資料規模大。目前滬深兩市每天4個小時交易時間會產生3億條以上逐筆成交資料，透過對歷史和實時資料的挖掘創新，以創造和改進數量化交易模型，並將之應用於基於計算機模型的實時證券交易過程中。

小額信貸：阿里巴巴和建行在2007年推出一個專注於小企業的貸款計劃——e貸通，阿里巴巴利用擁有的使用者資訊及交易資料，透過大資料技術自動判定是否給予企業貸款；而建行坐擁鉅額資金，希望貸款給無信用記錄但發展勢頭良好的小企業。到2012年底，阿里在累計服務小微企業超過20萬家，放貸300多億元，==壞賬率僅為0.3%左右==，低於商業銀行水平。

招商銀行：透過資料分析識別出招行信用卡高價值客戶經常出現在星巴克、DQ、麥當勞等場所後，透過“多倍積分累計”“積分店面兌換”等活動吸引優質客戶；透過構建客戶流失預警模型，對流失率等級前20%的客戶發售高收益理財產品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個和7個百分點；透過對客戶交易記錄進行分析，有效識別出潛在的小微企業客戶，並利用遠端銀行和雲轉介平臺實施交叉銷售，取得了良好成效。

生活娛樂領域

國內有6億手機使用者使用百度地圖，使用者每次位置變化，百度都能得到資料。把手機網民的定位資訊彙總成大資料進行分析，就能勾勒出人們的遷徙軌跡。此次百度圖景化地展示春運情況，是基於LBS(基於地理位置的服務)技術的一次創新。它的資料每8小時更新一次，囊括了全國鐵路、公路和航空在內的線路。

商品推薦

推薦系統是大資料中最常見和最容易理解的應用之一，比如說淘寶的猜你喜歡和京東等網站的使用者提供個性化的內容。但是不僅僅只有電商會用推薦引擎為使用者提供額外的商品，推薦系統也可以被用在其他行業，以及具有不同的應用中使用，如網易雲音樂的每日歌曲推薦、活動、產品到約會物件。

什麼是Java

Java是由Sun Microsystems公司於1995年5月推出的Java面向物件程式設計語言和Java平臺的總稱。由James Gosling和同事們共同研發，並在1995年正式推出。Java從推出到現在，多年佔據程式語言排行榜第一的位置，可見它的流行程度。很多人想進入IT行業，首選的第一門語言就是JAVA。

TIOBE 2020.4 月 TOP 20 程式語言排行榜。

Java應用領域

Java 技術具有卓越的通用性、高效性、平臺移植性和安全性廣泛應用於個人PC、資料中心、遊戲控制檯、科學超級計算機、行動電話和網際網路，同時擁有全球最大的開發者專業社群。在全球雲計算和移動網際網路的產業環境下，Java更具備了顯著優勢和廣闊前景。

大資料和Java的區別

大資料是一個技術體系，主要作用在於對海量資料的儲存和分析，要做大資料的開發要對演算法要求比較高。Java是一門程式語言，業界使用Java最多的是開發企業專案，對業務邏輯要求比較高。

大資料和Java的聯絡

大資料體系裡有很多計算分析框架像Hadoop、Hive、HBase都是使用Java開發的，如果要使用這些框架進行大資料開發那麼就必須使用Java語言。

綜上：要想做大資料的開發還必須掌握Java。

百戰程式設計師IT問題專業解答

大資料：

大資料確切的說，它並不能算一門具體的技術，而是一種概念，一種大的技術範疇。大資料主要是用來處理，分析，儲存海量資料，對這些大量的資料進行加工處理等操作。大資料領域裡面涉及到Hadoop，hive，flink，hbase，java等各種具體的技術,看清楚，在這裡Java也可以為大資料的實現提供服務哦。所以可以說，Java可以幫助我們實現大資料的開發，Java就像是一個“建築工人"，它可以把各種資料原料整合在一起，構建出大資料這麼一個環境。

Java：

Java就是一門面向物件的高階程式語言，可以用Java實現Android，Web，Swing等各中軟體的開發，是一門具體的技術。