安装hdfs集群

1.安装hadoop

先到hadoop官网下载安装包,由于hibench的kmeans测试不支持3.x,所以我下载的是2.7。下载完成后解压压缩包,接着去etc/profile中配置hadoop环境,完成后source /etc/profile

2.配置hadoop

进入etc/hadoop/hadoop-env.sh,配置Java环境位置

接着进入hdfs-site.xml

<configuration>
    <property>
       <name>dfs.replication</name>
       <value>3</value>
    </property>
    <property>
       <name>dfs.namenode.name.dir</name>
       <value>/usr/local/hadoop/hadoop/tmp/dfs/name</value>
    </property>
    <property>
       <name>dfs.datanode.name.dir</name>
       <value>/usr/local/hadoop/hadoop/tmp/dfs/data</value>
    </property>
    <property>
       <name>dfs.http.address</name>
       <value>0.0.0.0:50070</value>
    </property>
</configuration>

进入core-site.xml

<configuration>
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://k8s-master02:9000</value>
  </property>
  <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/data</value>
  </property>
</configuration>

建立/opt/data目录,mkdir /opt/data

编辑slave节点,在etc中新建slaves文件

#加上节点的名称
k8s-node04
k8s-node05

3.格式化namenode

hdfs namenode -format

4.启动hdfs

在所有节点运行/usr/local/hadoop/hadoop/sbin/start-dfs.sh

查看jps

这是3.x的,2.7NameNode和DataNode不在一个节点

进入节点ip:50070查看

评论

  1. 博主
    已编辑
    4 年前
    2021-3-08 11:02:44

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇
Theme Argon
本网站自 2020-12-24 12:00:00 起已运行