今天使用tpcds for spark时，再写入数据到事实表中一直崩溃，偏偏还总在同一阶段，一开始以为是内存原因，把executor内存跳到10g还是出现错误，又以为是cores原因，executor的cpu cores调到8个还是不行，直到我看到k8s运行节点的污点中出现disk pressure，我才发现是硬盘原因，因为docker和k8s的默…

MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 1.安装 1.基于docker安装 docker search minio docke…

将spark提交到k8s中时，所有executor都报UnknownHostExceptions错误，记录下排查过程 1.环境 k8s版本：1.15.1 centos版本：7.6 内核:3.10.0-1160.21.1.el7.x86_64 2.问题说明 当提交任务到k8s时，executor会出现以下错误 无法解析到主节点 3.问题排查 1.首先…

之前k8s装了v1.15.1版本，在将spark任务提交到k8s时，所有executor都出现UnknownHostException错误，无法解析到主节点Hostname，之前提到了升级内核的方法，这次谈谈更改kubernetes版本的方法 每个节点都执行 1.删除现有的kubernetes kubeadm reset -f modprobe -…

查看spark任务日志记录，需要配置历史服务器，将日志记录保存 1.在客户端$SPARK_HOME/conf/spark-defaults.conf 中配置： spark.eventLog.enabled true spark.eventLog.dir hdfs://mycluster/spark/log spark.history.fs.logD…

1.下载安装包 地址 2.选择地址 我的地址选为/usr/local/hadoop mkdir /usr/local/hadoop   3.配置环境变量 vim /etc/profile #添加如下 export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HAD…

今天重新编译spark时候发现竟然需要R语言环境，之前编译时并没有需要R语言环境，最后才发现是顺带编译了sparkr 1.前置环境要求 yum install -y gcc gcc-c++ gcc-gfortran binutils libXt-devel zlib-devel xz-devel pcre-devel bzip2-devel &nb…

spark我通常都是直接下编译好的包来使用，但是后续项目需要ganglia的相关功能，编译好的spark不包含，只能自己编译 1.下载spark包 地址 2.新建目录 我将source文件放到了/usr/local/spark-soucre 中 mkdir /usr/local/spark-source   3.编译spark ./bui…

删除已安装的MySQL 检查MariaDB   shell> rpm -qa|grep mariadb mariadb-server-5.5.60-1.el7_5.x86_64 mariadb-5.5.60-1.el7_5.x86_64 mariadb-libs-5.5.60-1.el7_5.x86_64 删除mariadb she…

1.安装EPEL镜像仓库 sudo yum install epel-release 2.安装nginx sudo yum install nginx 3.启动nginx并配置开机启动 sudo systemctl start nginx sudo systemctl enable nginx 4.检测nginx状态 sudo systemctl …