hadoop完全分布式

准备工作

三台虚拟机，关闭防火墙，关闭selinux

查看防火状态 systemctl status firewalld

暂时关闭防火墙 systemctl stop firewalld

永久关闭防火墙 systemctl disable firewalld

查看 selinux状态 getenforce

暂时关闭 selinux setenforce 0

永久关闭 selinux 在/etc/selinux/config文件中将SELINUX改为disabled

修改主机名：hostnamectl set-hostname 主机名称

修改映射文件/etc/hosts 使得三台主机可以互ping

配置ssh免密登录

ssh-keygen -t rsa 生成私钥与公钥

ssh-copy-id hadoop01 将公钥复制到需要远程连接的机器上

配置jdk与Hadoop环境变量

修改Hadoop配置文件

mapred-env.sh

配置HDFS相关文件

配置core-site.xml

<configuration>
  <property>    <!-- 指定HDFS中NameNode的地址 -->
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
  </property>
  <property>    <!-- 指定Hadoop运行时产生文件的存储目录 -->
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/src/hadoop/data/tmp</value>
  </property>
</configuration>

配置hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>4</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/src/hadoop/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/src/hadoop/data</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>slave2:50090</value> </property> </configuration>

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn-resourcemanager.hostname</name>
                <value>slave1</value>
        </property>
</configuration>

配置mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

配置slave文件写入其他主机名称

格式化NameNode

第一次开启必须要格式化

[hadoop@hadoop01 hadoop-2.7.2]$ bin/hdfs namenode -format

启动HDFS

在NameNode节点启动

[hadoop@hadoop01 hadoop-2.7.2]$ sbin/start-dfs.sh [hadoop@hadoop01 hadoop-2.7.2]$ jps

启动Yarn

在Resourcemanager节点启动

[hadoop@hadoop02 hadoop-2.7.2]$ sbin/start-yarn.sh [hadoop@hadoop02 hadoop-2.7.2]$ jps

使用jps查看进程与节点是否对应

	hadoop01 192.168.112.101	hadoop02 192.168.112.102	hadoop03 192.168.112.103
HDFS	DataNode	DataNode	DataNode
YARN	NodeManager	NodeManager	NodeManager

启动HDFS：start-dfs.sh

启动Yarn：start-yarn.sh

关闭HDFS：stop-dfs.sh

关闭Yarn：stop-yarn.sh

编程笔记 » hadoop完全分布式