1.找到examples例子
我們需要找打這個例子的位置:首先需要找到你的hadoop資料夾,然後依照下面路徑:
/hadoop/share/hadoop/mapreduce會看到如下圖:
hadoop-mapreduce-examples-2.2.0.jar
第二步:
我們需要需要做一下執行需要的工作,比如輸入輸出路徑,上傳什麼檔案等。
1.先在HDFS建立幾個資料目錄:
hadoop fs -mkdir -p /data/wordcount
hadoop fs -mkdir -p /output/
2.目錄/data/wordcount用來存放Hadoop自帶的WordCount例子的資料檔案,執行這個MapReduce任務的結果輸出到/output/wordcount目錄中。
首先新建檔案inputWord:
vi /usr/inputWord
新建完畢,檢視內容:
cat /usr/inputWord
將本地檔案上傳到HDFS中:
hadoop fs -put /usr/inputWord /data/wordcount/
可以檢視上傳後的檔案情況,執行如下命令:
hadoop fs -ls /data/wordcount
可以看到上傳到HDFS中的檔案。
透過命令
hadoop fs -text /data/wordcount/inputWord
看到如下內容:
下面,執行WordCount例子,執行如下命令:
hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount
可以看到控制檯輸出程式執行的資訊
檢視結果,執行如下命令:
hadoop fs -text /output/wordcount/part-r-00000
結果資料示例如下:
登入到Web控制檯,訪問連結http.//master:8088/可以看到任務記錄情況。
1.找到examples例子
我們需要找打這個例子的位置:首先需要找到你的hadoop資料夾,然後依照下面路徑:
/hadoop/share/hadoop/mapreduce會看到如下圖:
hadoop-mapreduce-examples-2.2.0.jar
第二步:
我們需要需要做一下執行需要的工作,比如輸入輸出路徑,上傳什麼檔案等。
1.先在HDFS建立幾個資料目錄:
hadoop fs -mkdir -p /data/wordcount
hadoop fs -mkdir -p /output/
2.目錄/data/wordcount用來存放Hadoop自帶的WordCount例子的資料檔案,執行這個MapReduce任務的結果輸出到/output/wordcount目錄中。
首先新建檔案inputWord:
vi /usr/inputWord
新建完畢,檢視內容:
cat /usr/inputWord
將本地檔案上傳到HDFS中:
hadoop fs -put /usr/inputWord /data/wordcount/
可以檢視上傳後的檔案情況,執行如下命令:
hadoop fs -ls /data/wordcount
可以看到上傳到HDFS中的檔案。
透過命令
hadoop fs -text /data/wordcount/inputWord
看到如下內容:
下面,執行WordCount例子,執行如下命令:
hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount
可以看到控制檯輸出程式執行的資訊
檢視結果,執行如下命令:
hadoop fs -text /output/wordcount/part-r-00000
結果資料示例如下:
登入到Web控制檯,訪問連結http.//master:8088/可以看到任務記錄情況。