准备环境 名称版本地址备注Centos7.9 https://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-2009.isoJava1.8直接使用yum命令安装java1.8Spark3.2.1https://archive.apache.org/dist/spark/spa…

出现问题 DataX向hive同步数据时Date类型和TimeStamp类型显示ORC does not support type conversion from file type struct<> (2) to reader type date (2) 问题来源 DataX向hive中写入数据时，Date数据类型和TimeStamp数据类…

创建磁盘映像 qemu-img create -f qcow2 /ubuntu/win2.qcow2 1T 编辑虚拟机的网卡 virsh net-edit default 添加 <host mac='52:54:00:8d:34:18' name='win2' ip='192.168.122.18'/> 这样新的虚拟机mac为52:54:00…

创建iptables chain 对于多个虚拟机，创建对应的iptables链可以方便管理 iptables -t table -N name 其中table变量需要两类，分别是nat和filter，默认为filter。name变量是链名称。 当前虚拟机名为ubuntu iptables -t nat -N SNAT-ubuntu iptables…

在深入理解计算机系统这本书中，根据x86架构简化后给了一个Y86架构，其中第一个就是关于指令集的解释 先给出一张图 halt指令表示停止指令的执行nop指令占位符，控制时序的目的，强制内存对齐，防止流水线灾难rrmovq表示寄存器到寄存器的传送指令，下面几个指令同理，ir表示立即数到寄存器，rm表示寄存器到内存，mr表示内存到寄存器Opq指令是整数…

前面已经介绍了一大堆关于cache的技术，那有没有cache优化的方法呢？毕竟我们的应用最终还是要通过优化来增加性能，下面介绍6个缓存优化方法 前面我们提到过，平均内存访问时间可由公式表示： $$\begin{array}{l}Average \ memory \ access \ time = Hit \ time + Miss \ rate \…

$$\begin{array}{l}计算cache指引大小: \\2^{index}=\frac{Cache \ size}{Block \ size \times Set \ associativity} \ {\color{Red} 1} \\CPU \ execution \ time = (CPU \ clock \ cycles + Me…

基本上访问cache的操作都是读，写占少数，而所有的指令缓存访问都是读，大多数指令不会写入到内存，所以大多数情况优化cache代表着优化cache read，特别是因为处理器传统上等待读取完成但不需要等待写入 cache读操作时，block的数据读取和tag域检验可以在同时进行，所以只要一拿到block address时就可以直接从缓存中读取数据，…

当遇到cache miss发生时，缓存管理需要选择一个block替换需要存储的数据 当直接映射时非常简单，因为直接映射只有一个block，正好对应，选择block替换即可 当是多路组相联和全相联时，由于有许多block可以被挑选替换，就需要进行选择，主要有三种方法： 随机：随机挑选一个block进行替换最近最少使用(LRU)：为了减少信息最近需要被…

之前已经提到了很多关于cache的相关知识，我们知道，cache命中和未命中造成的性能差异会很大，两种时钟周期差异可以到达10倍以上。简单来说，我们可以将CPU运行时间用以下的式子表示 \( CPU \ execution \ time = (CPU \ clock \ cycles + Memory \ stall \ cycles ) \tim…