查看spark任务日志记录，需要配置历史服务器，将日志记录保存

1.在客户端$SPARK_HOME/conf/spark-defaults.conf 中配置：

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://mycluster/spark/log
spark.history.fs.logDirectory 	 hdfs://mycluster/spark/log
spark.eventLog.compress true

2.启动历史日志服务

$SPARK_HOME/sbin/start-history-server.sh 

3.访问

webui : mynode4:18080