HeapOutOfMemory 代码： package spark.jvm; import java.util.ArrayList; import java.util.List; class Person{ } public class HeapOutOfMemory { public static void main(String[] a…
Spark的JVM相关错误
找不到docker.socket解决方法
错误信息 Failed to restart docker.service: Unit docker.socket failed to load: No such file or directory 解决方法 vim /lib/systemd/system/docker.socket [Unit] Description=Docker So…
解决redis requires ruby version 2.3.0
安装curl yum install curl 安装RVM curl -L get.rvm.io | bash -s stable <em id="__mceDel">Downloading https://github.com/rvm/rvm/releases/download/1.29.8/1.29.8.tar.gz.asc gpg: S…
Harbor仓库登录 connect: connection refused
原因 Docker自从1.3.X之后docker registry交互默认使用的是HTTPS，但是搭建私有镜像默认使用的是HTTP服务，所以与私有镜像交时出现以上错误。 解决方法 vim /etc/docker/daemon.json添加 "insecure-registries":["192.168.0.40"] systemctl da…
镜像仓库Harbor搭建
1.关闭防火墙 setenforce 0 systemctl stop firewalld systemctl disable firewalld 2.设置yum源和安装docker cd /etc/yum.repos.d/ wget http://mirrors.aliyun.com/repo/Centos-7.repo wget http://…
k8s加入、删除节点
加入节点 kubeadm token create --print-join-command 删除节点 kubectl get node kubectl delete nodes k8s-node02 kubectl delete nodes k8s-node03 在被删除的node节点中清空集群数据信息 kubeadm reset
spark-sql Table ‘hive.PARTITIONS’ doesn’t exist问题
1.问题描述 Table 'hive.PARTITIONS' doesn't exist 19/08/21 10:56:15 ERROR ConnectionHandle: Database access problem. Killing off this connection and all remaining connections in th…
tpcds测试spark on k8s在写入事实表数据时节点出现The node was low on resource: ephemeral-storage
今天使用tpcds for spark时，再写入数据到事实表中一直崩溃，偏偏还总在同一阶段，一开始以为是内存原因，把executor内存跳到10g还是出现错误，又以为是cores原因，executor的cpu cores调到8个还是不行，直到我看到k8s运行节点的污点中出现disk pressure，我才发现是硬盘原因，因为docker和k8s的默…
Kubernetes dns问题排查
将spark提交到k8s中时，所有executor都报UnknownHostExceptions错误，记录下排查过程 1.环境 k8s版本：1.15.1 centos版本：7.6 内核:3.10.0-1160.21.1.el7.x86_64 2.问题说明 当提交任务到k8s时，executor会出现以下错误 无法解析到主节点 3.问题排查 1.首先…
更改kubernetes版本
之前k8s装了v1.15.1版本，在将spark任务提交到k8s时，所有executor都出现UnknownHostException错误，无法解析到主节点Hostname，之前提到了升级内核的方法，这次谈谈更改kubernetes版本的方法 每个节点都执行 1.删除现有的kubernetes kubeadm reset -f modprobe -…