删除已安装的MySQL 检查MariaDB shell> rpm -qa|grep mariadb mariadb-server-5.5.60-1.el7_5.x86_64 mariadb-5.5.60-1.el7_5.x86_64 mariadb-libs-5.5.60-1.el7_5.x86_64 删除mariadb she…
Centos安装mysql
在Centos中安装Nginx
1.安装EPEL镜像仓库 sudo yum install epel-release 2.安装nginx sudo yum install nginx 3.启动nginx并配置开机启动 sudo systemctl start nginx sudo systemctl enable nginx 4.检测nginx状态 sudo systemctl …
CentOS安装ganglia进行系统监控
1.安装php环境 1.查看当前php版本 php -v 2.更换 RPM 源 #Centos 5.X： rpm -Uvh http://mirror.webtatic.com/yum/el5/latest.rpm #CentOs 6.x： rpm -Uvh http://mirror.webtatic.com/yum/el6/latest.rpm…
centos虚拟机安装k8s集群
1.安装centos虚拟机 可以借鉴之前blog 2.配置 设置系统主机名以及 Host 文件的相互解析 hostnamectl set-hostname k8s-master01 安装依赖包 yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat li…
Hibench基准测试工具安装及配置
1.环境准备 maven环境 2.下载安装包 3.编译编译Hibench 要简单地在HiBench中构建所有模块，请使用以下命令。这可能会很耗时，因为hadoopbench依赖于Mahout和Nutch等第三方工具。构建过程会自动为您下载这些工具。如果您不运行这些工作负载，则只能构建特定的框架来加快构建过程。 mvn -Dspark=2.1 -Ds…
Hibench测试Spark on k8s
1.准备环境 spark on k8s集群Hibenchhdfs集群 2.修改Hibench配置文件 /conf/spark.conf # Spark home hibench.spark.home /usr/local/spark-k8s/spark2.4 #spark目录 # Spark master # standalone mode: sp…
安装hdfs集群
1.安装hadoop 先到hadoop官网下载安装包，由于hibench的kmeans测试不支持3.x，所以我下载的是2.7。下载完成后解压压缩包，接着去etc/profile中配置hadoop环境，完成后source /etc/profile 2.配置hadoop 进入etc/hadoop/hadoop-env.sh，配置Java环境位置 接着进…
安装spark-on-k8s
1.环境准备 Java环境k8s集群k8s中rbac权限 2.下载安装包 进入spark首页中下载spark，当前3.x的新版本暂时还没有hibench适配，最好选择2.x的版本 3.配置环境 将下载后的压缩包解压，进入/etc/profile中配置spark的路径，保存退出后source /etc/profile 4.编译spark镜像及上传到仓…
Kubernetes集群搭建Hadoop集群
1.hadoop集群搭建 新建hadoop文件夹 mkdir hadoop docker拉取镜像 docker pull kubeguide/hadoop:latest 新建hadoop命名空间 kubectl create namespace hadoop 编辑hadoop.yaml vim hadoop.yaml apiVersion: v1 …
安装spark-on-k8s-operator的难题和解决方法
1.forbidden问题 先是安装完成后出现Exception in thread "main" io.fabric8.kubernetes.client.KubernetesClientException: Failure executing: POST at: https://10.96.0.1/api/v1/namespaces/spark…