准备环境 名称版本地址备注Centos7.9 https://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-2009.isoJava1.8直接使用yum命令安装java1.8Spark3.2.1https://archive.apache.org/dist/spark/spa…

出现问题 DataX向hive同步数据时Date类型和TimeStamp类型显示ORC does not support type conversion from file type struct<> (2) to reader type date (2) 问题来源 DataX向hive中写入数据时，Date数据类型和TimeStamp数据类…

Hadoop2.6新增了Docker Container Executor，这样可以用yarn来管理docker容器，本文记录了如何使用spark来运行Hibench相关的数据集 环境： hadoop 3.2 docker 18.06.3-ce 这里先要有hdfs的，没有配置hdfs网上有很多教程，就不在这里说了 配置yarn-site.xml和c…

Metrics类型 根据不同监控指标之间的差异，Prometheus定义了4中不同的指标类型(metric type)：Counter（计数器）、Gauge（仪表盘）、Histogram（直方图）、Summary（摘要）。最常用的两种数据类型: counter：此类型的指标其工作方式和计数器一样，只增不减（除非系统发生重置）。例如 node_cpu…

前言：zookeeper集群 新建文件夹mkdir -p /usr/local/home/kafka 下载安装包 kafka_2.11-0.11.0.3.tgz 小水管比较慢，可以官网下https://kafka.apache.org/downloads 解压tar zxvf kafka_2.11-0.11.0.3.tgz mv kafka_2.1…

前提准备：zookeeper集群 新建命名空间kubectl create namespace kafka 创建kafka-pv.yaml 新建文件夹mkdir -p /home/nfs/{kafka01,kafka02} kafka-pv.yaml apiVersion: v1 kind: PersistentVolume metadata: n…

创建zk-pv.yaml kubectl create namespace zookeeper 新建文件夹 每个节点新建文件夹 mkdir -p /home/nfs/{zk01,zk02} zk.yaml apiVersion: v1 kind: PersistentVolume metadata: name: k8s-pv-zk01 namesp…

上文讲了使用裸机搭建redis集群，本文讲如何使用K8s搭建redis集群 环境 跟上文一样，redis至少需要3个主节点，所以我们使用三台机器各有三个主节点pod和三个从节点pod，主节点pod端口为6379，从节点pod端口号为6380。先创建三个主节点 创建命名空间kubectl create namespace redis redis-co…

环境准备 Redis集群安装需要至少三台机器，由于每台机器至少需要一个从节点，所以至少需要6台机器，为了保证其中某一台机器宕机时，不会造成数据的丢失。我这里机器个数有限，我只使用3台机器，每台机器部署一个主节点和一个从节点。 CentOS7 三台（k8s-master01:192.168.0.10 k8s-node02:192.168.0.20 k…

今天使用kube-prometheus为k8s系统建立监控系统，创建完成后使用别人已有的表盘，感觉还不错，但是只能5s自动刷新让我这个强迫症很难受，用网上的方法修改设置栏发现最小就只能是5s,想再小就只能去修改容器内部的配置文件，可去修改发现又有一个问题：配置文件是一个只读文件无法修改。在网上翻来覆去终于看到一个解决方案，记录一下（事后觉得修改这个…