回覆列表
-
1 # thbz
-
2 # ITSTAR
大多數學習者在提出這個問題時表現出一些失望 - 他們覺得不知道Java是一個限制還是這是一個神話。
Apache Hadoop是一個開源軟體框架,其實際上是用Java編碼的,用於分散式儲存和非常大的資料集的分散式處理。 那麼在哪種情況下我們確實需要Java知識? 有三種情況,如果你有一些關於Java的知識,你將會更好。
1、產品開發在Hadoop之上 如果要在Hadoop框架之上構建產品,那麼需要對Java進行編碼; 您需要具備Java專業知識。這些型別的專案的總可用專案少得多
2、擴充套件PIG / HIVE或其他Hadoop工具的功能 如果您想擴充套件Hadoop工具的功能或開發自定義輸入和輸出格式,那麼您需要Java。例如,如果要在PIG中新增使用者定義的函式,那麼您需要在Java中編寫該函式,再次減少專案或在此空間中工作。
3、 除錯 如果Hadoop程式崩潰,您可能需要進行一些除錯。您只需要知道基本的Java。或者即使您已經使用其他程式語言完成除錯,那麼該知識將給您一個如何處理Java除錯的公正意見。
主要看你要幹啥,培訓機構很多都是坑,要自己避坑。做平臺學java,scala,做資料python。培訓的java估計還是寫mr吧……現在很多公司用spark,中國公司的資料量還沒有能達到只能用mr不能用spark的地步,不要看spark支援java,那些不願意學scala的才會用java寫spark。