向spark集群中提交Java测试集群任务 – Hello blog

文章目录
站点概览

Hello blog

向spark集群中提交Java测试集群任务

2021-2-05 13:02

|

360

|

0

|

149 字

|

1 分钟内

在idea中将创建maven项目

选择NEW Project

新建Maven项目

新建Maven项目

去官网复制测试代码https://spark.apache.org/docs/latest/quick-start.html

项目打包

点击Project Structure

添加新jar包

先改成copy to the output directory and link via manifest将路径改为你的ideaProject总文件夹，后面再改回extract to the target JAR

点击Build->Build Atifacts

点及Build即建成jar包

将jar包上传到服务器主机中

使用spark-submit提交jar包

#spark-submit在${SPARK_HOME}/bin目录中
./spark-submit --master mesos://zk://mesos01:2181,mesos02:2181,mesos03:2181/mesos --class SimpleApp /usr/local/spark/spark-test.jar

暂无评论

发送评论编辑评论

Markdown

|´・ω・)ノ

ヾ(≧∇≦*)ゝ

(☆ω☆)

（╯‵□′）╯︵┴─┴

￣﹃￣

(/ω＼)

∠( ᐛ 」∠)＿

(๑•̀ㅁ•́ฅ)

→_→

୧(๑•̀⌄•́๑)૭

٩(ˊᗜˋ*)و

(ノ°ο°)ノ

(´இ皿இ｀)

⌇●﹏●⌇

(ฅ´ω`ฅ)

(╯°A°)╯︵○○○

φ(￣∇￣o)

ヾ(´･･｀｡)ノ"

( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃

(ó﹏ò｡)

Σ(っ °Д °;)っ

( ,,´･ω･)ﾉ"(´っω･｀｡)

╮(╯▽╰)╭

o(*////▽////*)q

＞﹏＜

( ๑´•ω•) "(ㆆᴗㆆ)

颜文字

Emoji

小恐龙

花!