查看spark任务日志记录，需要配置历史服务器，将日志记录保存 1.在客户端$SPARK_HOME/conf/spark-defaults.conf 中配置： spark.eventLog.enabled true spark.eventLog.dir hdfs://mycluster/spark/log spark.history.fs.logD…
spark启动历史服务器
Hadoop安装
1.下载安装包 地址 2.选择地址 我的地址选为/usr/local/hadoop mkdir /usr/local/hadoop 3.配置环境变量 vim /etc/profile #添加如下 export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HAD…
Spark编译k8s和ganglia
spark我通常都是直接下编译好的包来使用，但是后续项目需要ganglia的相关功能，编译好的spark不包含，只能自己编译 1.下载spark包 地址 2.新建目录 我将source文件放到了/usr/local/spark-soucre 中 mkdir /usr/local/spark-source 3.编译spark ./bui…
Centos安装mysql
删除已安装的MySQL 检查MariaDB shell> rpm -qa|grep mariadb mariadb-server-5.5.60-1.el7_5.x86_64 mariadb-5.5.60-1.el7_5.x86_64 mariadb-libs-5.5.60-1.el7_5.x86_64 删除mariadb she…
centos虚拟机安装k8s集群
1.安装centos虚拟机 可以借鉴之前blog 2.配置 设置系统主机名以及 Host 文件的相互解析 hostnamectl set-hostname k8s-master01 安装依赖包 yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat li…
Hibench基准测试工具安装及配置
1.环境准备 maven环境 2.下载安装包 3.编译编译Hibench 要简单地在HiBench中构建所有模块，请使用以下命令。这可能会很耗时，因为hadoopbench依赖于Mahout和Nutch等第三方工具。构建过程会自动为您下载这些工具。如果您不运行这些工作负载，则只能构建特定的框架来加快构建过程。 mvn -Dspark=2.1 -Ds…
Hibench测试Spark on k8s
1.准备环境 spark on k8s集群Hibenchhdfs集群 2.修改Hibench配置文件 /conf/spark.conf # Spark home hibench.spark.home /usr/local/spark-k8s/spark2.4 #spark目录 # Spark master # standalone mode: sp…
安装hdfs集群
1.安装hadoop 先到hadoop官网下载安装包，由于hibench的kmeans测试不支持3.x，所以我下载的是2.7。下载完成后解压压缩包，接着去etc/profile中配置hadoop环境，完成后source /etc/profile 2.配置hadoop 进入etc/hadoop/hadoop-env.sh，配置Java环境位置 接着进…
安装spark-on-k8s
1.环境准备 Java环境k8s集群k8s中rbac权限 2.下载安装包 进入spark首页中下载spark，当前3.x的新版本暂时还没有hibench适配，最好选择2.x的版本 3.配置环境 将下载后的压缩包解压，进入/etc/profile中配置spark的路径，保存退出后source /etc/profile 4.编译spark镜像及上传到仓…
Kubernetes集群搭建Hadoop集群
1.hadoop集群搭建 新建hadoop文件夹 mkdir hadoop docker拉取镜像 docker pull kubeguide/hadoop:latest 新建hadoop命名空间 kubectl create namespace hadoop 编辑hadoop.yaml vim hadoop.yaml apiVersion: v1 …