搭建好mesos集群

https://arithstar.com/?p=369

spark集群配置

配置/conf/spark-env.sh文件

#添加以下
export SPARK_LOCAL_DIRS=/home/data/spark
export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
export SPARK_EXECUTOR_URI=/usr/local/spark/spark-2.4.7-bin-hadoop2.7.tgz

SPARK_LOCAL_DIRS：保存spark相关数据

MESOS_NATIVE_JAVA_LIBRARY：mesos.so库

SPARK_EXECUTOR_URI：spark配置完后，打包为jar，传递的目录，可以是HDFS,Http,但是建议可以保存本地（每个节点都有一份），可以减少网络数据传输

配置/conf/spark-defaults.conf文件

spark.master              mesos://zk://mesos01:2181,mesos02:2181,mesos03:2181/mesos
spark.eventLog.enabled           true
spark.eventLog.dir               /home/data/spark
spark.executor.memory            1g
spark.mesos.mesosExecutor.cores  1

编辑/conf/slaves文件

mesos01
mesos02
mesos03

将配置好的spark文件压缩

tar zcvf spark-2.4.7-bin-hadoop2.7.tgz spark-2.4.7-bin-hadoop2.7/

测试Spark集群

./bin/spark-shell --master mesos://zk://mesos01:2181,mesos02:2181,mesos03:2181/mesos

启动脚本

start-mesos-dispatcher.sh --master mesos://mesos01:5050 -z mesos01:2181,mesos02:2181,mesos03:2181