spark我通常都是直接下编译好的包来使用,但是后续项目需要ganglia的相关功能,编译好的spark不包含,只能自己编译
1.下载spark包
2.新建目录
我将source文件放到了/usr/local/spark-soucre
中
mkdir /usr/local/spark-source
3.编译spark
./build/mvn -Pyarn -Phadoop-2.7 -Phive -Pspark-ganglia-lgpl -Pkubernetes -Phive-thriftserver -Dhadoop.version=2.7.6 -DskipTests clean package
4.打包
编译完成后的spark文件较大,使用./dev/make-distribution.sh
命令将spark打包
./dev/make-distribution.sh --name k8s-ganglia --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0 -DskipTests clean package
5.完成
打包完成后可以在spark目录下看到spark-2.2.0-bin-k8s-ganglia.tgz
文件,这个文件就是编译好的压缩包