今天使用tpcds for spark时，再写入数据到事实表中一直崩溃，偏偏还总在同一阶段，一开始以为是内存原因，把executor内存跳到10g还是出现错误，又以为是cores原因，executor的cpu cores调到8个还是不行，直到我看到k8s运行节点的污点中出现disk pressure，我才发现是硬盘原因，因为docker和k8s的默…

MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 1.安装 1.基于docker安装 docker search minio docke…