1.环境准备 maven环境 2.下载安装包 3.编译编译Hibench 要简单地在HiBench中构建所有模块，请使用以下命令。这可能会很耗时，因为hadoopbench依赖于Mahout和Nutch等第三方工具。构建过程会自动为您下载这些工具。如果您不运行这些工作负载，则只能构建特定的框架来加快构建过程。 mvn -Dspark=2.1 -Ds…
Hibench基准测试工具安装及配置
Hibench测试Spark on k8s
1.准备环境 spark on k8s集群Hibenchhdfs集群 2.修改Hibench配置文件 /conf/spark.conf # Spark home hibench.spark.home /usr/local/spark-k8s/spark2.4 #spark目录 # Spark master # standalone mode: sp…
安装hdfs集群
1.安装hadoop 先到hadoop官网下载安装包，由于hibench的kmeans测试不支持3.x，所以我下载的是2.7。下载完成后解压压缩包，接着去etc/profile中配置hadoop环境，完成后source /etc/profile 2.配置hadoop 进入etc/hadoop/hadoop-env.sh，配置Java环境位置 接着进…
安装spark-on-k8s
1.环境准备 Java环境k8s集群k8s中rbac权限 2.下载安装包 进入spark首页中下载spark，当前3.x的新版本暂时还没有hibench适配，最好选择2.x的版本 3.配置环境 将下载后的压缩包解压，进入/etc/profile中配置spark的路径，保存退出后source /etc/profile 4.编译spark镜像及上传到仓…