1.安装php环境 1.查看当前php版本 php -v 2.更换 RPM 源 #Centos 5.X： rpm -Uvh http://mirror.webtatic.com/yum/el5/latest.rpm #CentOs 6.x： rpm -Uvh http://mirror.webtatic.com/yum/el6/latest.rpm…
CentOS安装ganglia进行系统监控
centos虚拟机安装k8s集群
1.安装centos虚拟机 可以借鉴之前blog 2.配置 设置系统主机名以及 Host 文件的相互解析 hostnamectl set-hostname k8s-master01 安装依赖包 yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat li…
Hibench基准测试工具安装及配置
1.环境准备 maven环境 2.下载安装包 3.编译编译Hibench 要简单地在HiBench中构建所有模块，请使用以下命令。这可能会很耗时，因为hadoopbench依赖于Mahout和Nutch等第三方工具。构建过程会自动为您下载这些工具。如果您不运行这些工作负载，则只能构建特定的框架来加快构建过程。 mvn -Dspark=2.1 -Ds…
Hibench测试Spark on k8s
1.准备环境 spark on k8s集群Hibenchhdfs集群 2.修改Hibench配置文件 /conf/spark.conf # Spark home hibench.spark.home /usr/local/spark-k8s/spark2.4 #spark目录 # Spark master # standalone mode: sp…
安装hdfs集群
1.安装hadoop 先到hadoop官网下载安装包，由于hibench的kmeans测试不支持3.x，所以我下载的是2.7。下载完成后解压压缩包，接着去etc/profile中配置hadoop环境，完成后source /etc/profile 2.配置hadoop 进入etc/hadoop/hadoop-env.sh，配置Java环境位置 接着进…
安装spark-on-k8s
1.环境准备 Java环境k8s集群k8s中rbac权限 2.下载安装包 进入spark首页中下载spark，当前3.x的新版本暂时还没有hibench适配，最好选择2.x的版本 3.配置环境 将下载后的压缩包解压，进入/etc/profile中配置spark的路径，保存退出后source /etc/profile 4.编译spark镜像及上传到仓…
Kubernetes集群搭建Hadoop集群
1.hadoop集群搭建 新建hadoop文件夹 mkdir hadoop docker拉取镜像 docker pull kubeguide/hadoop:latest 新建hadoop命名空间 kubectl create namespace hadoop 编辑hadoop.yaml vim hadoop.yaml apiVersion: v1 …
安装spark-on-k8s-operator的难题和解决方法
1.forbidden问题 先是安装完成后出现Exception in thread "main" io.fabric8.kubernetes.client.KubernetesClientException: Failure executing: POST at: https://10.96.0.1/api/v1/namespaces/spark…
记录下K8s中coredns的 CrashLoopBackOff的问题解决
今天将K8s启动后，用kubectl get pod -n kube-system查看节点，发现两个coredns都处在CrashLoopBackOff状态，记录下解决方案 先查看自己的coredns版本，低版本CoreDNS（1.4及之前的版本）存在的以下两个问题，影响了ACK 1.16以前版本集群内域名解析服务的稳定性： 因为CoreDNS需要…
logistic regression反向传播推导
1.一层logistic regression 其中\(\iota \left ( a,y \right )\)定义的损失函数\(\iota \left ( a,y \right )= -yloga-(1-y)log(1-a)\) 则\(\frac{d}{da}\iota \left ( a,y \right )=-\frac{y}{a}+\fra…