spark for mesos中当提交了一个任务时，spark会将所有资源使用到此任务中，当再有另外一个任务提交时，会没有资源分配到新的任务上，本文介绍下设置静态资源和动态资源 设置静态资源 使用默认配置时 spark会将所有资源分配给此任务 在使用spark-shell中，添加限制cpu数，spark-shell的详细信息为 Options: -…
spark for mesos中资源分配设置
spark for mesos集群排坑笔记
记录下自己在搭建spark for mesos时遇到的坑 坑1：所以任务都分配不到资源 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resourc…
向spark集群中提交Java测试集群任务
在idea中将创建maven项目 选择NEW Project 新建Maven项目 新建Maven项目 去官网复制测试代码https://spark.apache.org/docs/latest/quick-start.html 项目打包 点击Project Structure 添加新jar包 先改成copy to the output direct…
mesos集群搭建spark
搭建好mesos集群 https://arithstar.com/?p=369 spark集群配置 配置/conf/spark-env.sh文件 #添加以下 export SPARK_LOCAL_DIRS=/home/data/spark export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmeso…
安装mesos+marathon
配置节点ip及hosts文件 在/etc/sysconfig/network-scripts/ifcfg-ens33中更改ip TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=ye…
zookeeper集群搭建
首先默认所有机器已安装JDK，具体可参考https://arithstar.com/?p=68 下载zookeeper安装包、解压 #下载 wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.12.tar.gz #解压 tar -zxvf zookeeper-3.4.…
ssh无密码登录
SSH无密码登录的设置步骤 首先我们在自己的Linux系统上生成一对SSH Key：SSH密钥和SSH公钥．密钥保存在自己的Linux系统上然后公钥上传到Linux服务器．之后我们就能无密码SSH登录了．SSH密钥就好比是你的身份证明． ssh-keygen -t rsa 查看/root/.ssh/文件可以查看 将文件上传到其他节点 ssh-cop…
Centos7更改默认启动内核
今天centos内核版本还是3.10的，在自己的环境中有点不稳定，于是将内核升级为4.4 centos7内核下载地址 centos6内核下载地址 lt为长期维护版本，ml为主线稳定版 wget https://elrepo.org/linux/kernel/el7/x86_64/RPMS/kernel-lt-5.4.120-1.el7.elrepo…