假设我们现在有一个8位的cache 高速缓存 一个32位的存储器 存储器 几乎所有的直接映射cache都使用以下的映射方法： \( (块地址) mod (cache中的块数) \) 所以我们只需要取存储器后面3位来映射到高速缓存 如图所示 由于一个cache可以对应主存中多个不同的地址，如何知道cache中的数据项是否是所请求的字呢？我们在cach…

注意：巨页HP和THP不是一回事，HP俗称静态巨页，THP称为动态巨页，静态巨页是进程前用户自己定义好的，预分配，不会复制迁移，不会被转到swap分区，而THP由于是动态巨页，动态分配，会将内存复制迁移成巨页，造成性能消耗，几乎所有数据库应用都建议将THP关闭 先说结论： 页表大小跟页大小成反比（这里我觉得应该是页表数量，但是原文使用size），当…

之前尝试将root空间扩容，没有先去做准备知识，从home空间减容，然后将多的空间给root，结果home的文件系统是xfs，只能扩容不能减容，改完之后/home下的所有文件都是I/O错误，重启之后就进不去系统了，直接进入紧急模式，心想着重装是小事，home下的数据才是大事，记录下自己补救数据的方法 首先用U盘重新做一个启动盘，我的系统是cento…

Hadoop2.6新增了Docker Container Executor，这样可以用yarn来管理docker容器，本文记录了如何使用spark来运行Hibench相关的数据集 环境： hadoop 3.2 docker 18.06.3-ce 这里先要有hdfs的，没有配置hdfs网上有很多教程，就不在这里说了 配置yarn-site.xml和c…

上文中将数据处理后，要挑出几个重要参数来对比其中的关联性，记录下用pyecharts绘制热力图的流程 上来先处理csv文件，直接复制粘贴 def get_pmu(): all_pmu_dic = {} k8s_wordcount_path = './k8s-100g-micro-1-report.csv' with open(k8s_wordcou…

实验室项目数据保存为csv格式，每一个参数下面都是数据，记下处理这些csv格式的代码，免得以后再找 csv格式： csv格式样本 处理代码： all_pmu_dic = {} k8s_wordcount_path='要处理的csv' with open(k8s_wordcount_path, encoding="utf-8") as f: item…

Metrics类型 根据不同监控指标之间的差异，Prometheus定义了4中不同的指标类型(metric type)：Counter（计数器）、Gauge（仪表盘）、Histogram（直方图）、Summary（摘要）。最常用的两种数据类型: counter：此类型的指标其工作方式和计数器一样，只增不减（除非系统发生重置）。例如 node_cpu…

前言：zookeeper集群 新建文件夹mkdir -p /usr/local/home/kafka 下载安装包 kafka_2.11-0.11.0.3.tgz 小水管比较慢，可以官网下https://kafka.apache.org/downloads 解压tar zxvf kafka_2.11-0.11.0.3.tgz mv kafka_2.1…

前提准备：zookeeper集群 新建命名空间kubectl create namespace kafka 创建kafka-pv.yaml 新建文件夹mkdir -p /home/nfs/{kafka01,kafka02} kafka-pv.yaml apiVersion: v1 kind: PersistentVolume metadata: n…

创建zk-pv.yaml kubectl create namespace zookeeper 新建文件夹 每个节点新建文件夹 mkdir -p /home/nfs/{zk01,zk02} zk.yaml apiVersion: v1 kind: PersistentVolume metadata: name: k8s-pv-zk01 namesp…