回覆列表
-
1 # IT那些年那些事
-
2 # 溫讀
如果電腦效能足夠ok的話,那就在電腦上玩,裝個vmware,或者virtualbox,自己鼓搗著玩
如果電腦效能不夠好的話,去阿里雲自己買個主機去,學生價十分優惠,或者什麼新浪雲啊,騰訊雲啊,哪個便宜玩那個。
只會java,不知道你java掌握的怎麼樣,但是你想用java玩大資料呢,其實是最好的
因為想hadoop這種大資料處理工具都是java寫的,無縫結合。
不知道你資料庫會不會啊,不會其實也沒太大關係,但你最好會,這是基礎的東西
從hadoop家族開始學吧,
先學zookeeper,然後學下hadoop中的序列化工具avro,rpc遠端呼叫協議你要看看,你也可以額外看看dubbo,dubbox,然後學hadoop,重點學mapreduce,還有就是hdfs。mapreduce的設計原理,以及hdfs的讀寫底層hadoop是怎麼實現的,這些都要好好看看。然後日誌工具flume,扇入扇出怎麼玩,怎麼配置,hive資料倉庫,這個我覺得可以重點看看,因為大資料有相關職位叫做ETL工程師。還有hadoop的效能調優什麼的也最好看看,也有對應職位,比如bat的hadoop運維什麼的,雖然現在雲很火,但是還是有不少公司沒有用雲,而是自己整的伺服器。還有hbase,大資料中最常用的非關係型資料庫,kafka做大資料方面的訊息佇列,看完Kafka之後就要看storm了,線上流式處理資料的一個工具。。。。
算了先說這麼多吧,免得專業性名詞太多打消你的積極性
這些東西你要是想真的學的很好,夠你花費大量時間去鼓搗了。
但願你不會調配置檔案調到吐血三升。
我不是大神,只是一名喜歡技術的程式設計師,全心敲程式碼,天道自酬勤,希望可以和你們一起交流。
可以的,大資料的很多優秀框架都有單機模式。
另外,如果筆記本記憶體很大(16g) ,可以裝一個sandbox ,裡面有已經ok的環境