一、命令

1.向spark standalone以client方式提交job。

?

1

./spark-submit --master spark://hadoop3:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.3.0-hadoop2.3.0.jar

--deploy-mode client，在提交的節點會有個main程序，來執行Driver program。如果使用--deploy-mode cluster，則Driver program直接執行在worker中。

2.向spark on yarn以client方式提交job.

?

1

./spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.3.0-hadoop2.3.0.jar

二、Spark1.0.0 應用程式部署工具spark-submit

隨著Spark的應用越來越廣泛，對支援多資源管理器應用程式部署工具的需求也越來越迫切。Spark1.0.0的出現，這個問題得到了逐步改善。從Spark1.0.0開始，Spark提供了一個容易上手的應用程式部署工具bin/spark-submit，可以完成Spark應用程式在local、Standalone、YARN、Mesos上的快捷部署。