1.环境准备
2.下载安装包
3.编译编译Hibench
要简单地在HiBench中构建所有模块,请使用以下命令。这可能会很耗时,因为hadoopbench依赖于Mahout和Nutch等第三方工具。构建过程会自动为您下载这些工具。如果您不运行这些工作负载,则只能构建特定的框架来加快构建过程。
mvn -Dspark=2.1 -Dscala=2.11 clean package
这会把所有的hibench都进行编译安装,由于外国节点,需要大量时间,我们主要需要spark的sparkbench
mvn -Phadoopbench -Psparkbench -Dspark=2.1 -Dscala=2.11 clean package