Spark入门阶段四：如何理解Spark的任务调度机制？

本文共计113个文字，预计阅读时间需要1分钟。

以Spark集群方式运行standalone模式：`binspark-shell --master spark://hadoop1:7077 --executor-memory 3g`以Spark集群方式运行standalone模式：`bin/spark-shell --master spark://hadoop1:7077 --executor-memory 3g`

以Spark集群的方式运行standlone的运行：binspark-shell--masterspark:hadoop1:7077--executor-memory3g运行在Yarn

以Spark集群的方式运行

standlone 的运行：bin/spark-shell --master spark://hadoop1:7077 --executor-memory 3g

运行在Yarn上

yarn-client的运行：bin/spark-shell --master yarn-client --executor-memory 3g --num-executors 3

yarn-cluster的运行：./bin/spark-submit --master yarn-cluster --class week2.SogouQA --executor-memory 3g week2.jar hdfs://hadoop1:8000/dataguru/data/SogouQ1.txt hdfs://hadoop1:8000/dataguru/week2/output3