Spark编译k8s和ganglia

spark我通常都是直接下编译好的包来使用,但是后续项目需要ganglia的相关功能,编译好的spark不包含,只能自己编译

1.下载spark包

地址

2.新建目录

我将source文件放到了/usr/local/spark-soucre 中

mkdir /usr/local/spark-source

 

3.编译spark

./build/mvn -Pyarn -Phadoop-2.7 -Phive -Pspark-ganglia-lgpl -Pkubernetes -Phive-thriftserver -Dhadoop.version=2.7.6 -DskipTests clean package

 

4.打包

编译完成后的spark文件较大,使用./dev/make-distribution.sh命令将spark打包

./dev/make-distribution.sh  --name k8s-ganglia --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0 -DskipTests clean package

 

5.完成

打包完成后可以在spark目录下看到spark-2.2.0-bin-k8s-ganglia.tgz 文件,这个文件就是编译好的压缩包

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇
Theme Argon
本网站自 2020-12-24 12:00:00 起已运行