1.安装hadoop
先到hadoop官网下载安装包,由于hibench的kmeans测试不支持3.x,所以我下载的是2.7。下载完成后解压压缩包,接着去etc/profile中配置hadoop环境,完成后source /etc/profile
2.配置hadoop
进入etc/hadoop/hadoop-env.sh,配置Java环境位置
接着进入hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.name.dir</name>
<value>/usr/local/hadoop/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
</configuration>
进入core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://k8s-master02:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data</value>
</property>
</configuration>
建立/opt/data目录,mkdir /opt/data
编辑slave节点,在etc中新建slaves文件
#加上节点的名称
k8s-node04
k8s-node05
3.格式化namenode
hdfs namenode -format
4.启动hdfs
在所有节点运行/usr/local/hadoop/hadoop/sbin/start-dfs.sh
查看jps
进入节点ip:50070查看
评论