1.forbidden问题 先是安装完成后出现Exception in thread "main" io.fabric8.kubernetes.client.KubernetesClientException: Failure executing: POST at: https://10.96.0.1/api/v1/namespaces/spark…
安装spark-on-k8s-operator的难题和解决方法
记录下K8s中coredns的 CrashLoopBackOff的问题解决
今天将K8s启动后，用kubectl get pod -n kube-system查看节点，发现两个coredns都处在CrashLoopBackOff状态，记录下解决方案 先查看自己的coredns版本，低版本CoreDNS（1.4及之前的版本）存在的以下两个问题，影响了ACK 1.16以前版本集群内域名解析服务的稳定性： 因为CoreDNS需要…
spark for mesos中资源分配设置
spark for mesos中当提交了一个任务时，spark会将所有资源使用到此任务中，当再有另外一个任务提交时，会没有资源分配到新的任务上，本文介绍下设置静态资源和动态资源 设置静态资源 使用默认配置时 spark会将所有资源分配给此任务 在使用spark-shell中，添加限制cpu数，spark-shell的详细信息为 Options: -…
spark for mesos集群排坑笔记
记录下自己在搭建spark for mesos时遇到的坑 坑1：所以任务都分配不到资源 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resourc…
向spark集群中提交Java测试集群任务
在idea中将创建maven项目 选择NEW Project 新建Maven项目 新建Maven项目 去官网复制测试代码https://spark.apache.org/docs/latest/quick-start.html 项目打包 点击Project Structure 添加新jar包 先改成copy to the output direct…
mesos集群搭建spark
搭建好mesos集群 https://arithstar.com/?p=369 spark集群配置 配置/conf/spark-env.sh文件 #添加以下 export SPARK_LOCAL_DIRS=/home/data/spark export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmeso…
安装mesos+marathon
配置节点ip及hosts文件 在/etc/sysconfig/network-scripts/ifcfg-ens33中更改ip TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=ye…
zookeeper集群搭建
首先默认所有机器已安装JDK，具体可参考https://arithstar.com/?p=68 下载zookeeper安装包、解压 #下载 wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.12.tar.gz #解压 tar -zxvf zookeeper-3.4.…