Hadoop多节点集群规划

服务起名称	内网IP	HDFS	YARN
master	192.168.1.155	NameNode	ResourceManager
slave1	192.168.1.116	DataNode	NodeManager
slave2	192.168.1.117	DataNode	NodeManager
slave3	192.168.1.118	DataNode	NodeManager

1. Slave1机器配置

    1.1 以单机Hadoop镜像为模板克隆出一个虚拟机, 修改固定IP及MAC地址（修改/etc/sysconfig/network-scripts/ifcfg-ens33)

　　  DEVICE="ens33"

        HWADDR="00:0C:29:30:BB:7E"

　　  Type="Ethernet"

　　  BOOTPROTO="static"

　　  IPADDR=192.168.1.156

　　  GATEWAY=192.168.1.1

　　  NETMASK=255.255.255.0

　　  ONBOOT="yes"

    1.2 修改机器名为Slave1（/etc/hostname）

    1.3 修改机器名及ip映射(/etc/hosts),同时将127.0.0.1映射到slave1

          192.168.1.155 master

　　    192.168.1.156 slave1

　　    192.168.1.157 slave2

　　    192.168.1.157 slave3

    1.4 编辑/usr/local/hadoop/etc/hadoop/core-site.xml,设置fs.defaultFS值为hdfs://master:9000

    1.5 编辑.../..../yarn-site.xml,添加额外的3个property（nodemanager->resourcemanager,  application-master->resourcemanager, client->resourcemanager）

　　    <property>

　　　　   <name>yarn.resourcemanager.resource-tracker.address</name>

　　　　   <value>master:8025</value>

　　　 </property>

         <property>

　　   　　<name>yarn.resourcemanager.scheduler.address</name>

   　　 　  <value>master:8030</value>

　　    </property>

　　    <property>

　　　　    <name>yarn.resourcemanager.address</name>

　　　　    <value>master:8050</value>

　　    </property>

    1.6 编辑mapred-site.xml,添加

         <property>

              <name>mapred.job.tracker</name>

　　　　   <value>master:54331</value>

 　　   </property>

    1.7 编辑hdfs-site.xml, slave1为datanode，所以设置data dir

          <property>

　　　　    <name>dfs.datanode.data.dir</name>

　　　　    <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>

　　    </property>

2. Slave2机器配置

    2.1 以Slave1机器为模板，复制出新的VM，然后修改固定IP及MAC

　　　DEVICE="ens33"

         HWADDR="00:0C:29:51:C4:45"

　　   Type="Ethernet"

　　   BOOTPROTO="static"

　　   PADDR=192.168.1.157

　　   GATEWAY=192.168.1.1

　　   NETMASK=255.255.255.0

　　   ONBOOT="yes"

    2.2 修改机器名为Slave2(/etc/hostname)

    2.3 修改/etc/hosts，将127.0.0.1映射到slave2

3. Slave3机器配置

    3.1 以Slave1机器为模板，复制出新的VM，然后修改固定IP及MAC

　　   DEVICE="ens33"

　　   HWADDR="00:0C:29:BE:C6:0C"

　　   Type="Ethernet"

　　   BOOTPROTO="static"

　　   IPADDR=192.168.1.158

　　   GATEWAY=192.168.1.1

　　   NETMASK=255.255.255.0

　　   ONBOOT="yes"

    3.2 修改机器名为Slave3(/etc/hostname)

    3.3 修改/etc/hosts，将127.0.0.1映射到slave3

4. Master机器配置

    4.1 设置hdfs-site.xml, Master为NameNode, 指定name dir 

　　    <property>

　　　　    <name>dfs.namenode.name.dir</name>

　　 　　   <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>

　　    </property>

    4.4 设置yarn-site.xml

　　　<property>

　　　　 <name>yarn.resourcemanager.resource-tracker.address</name>

　　　　 <value>master:8025</value>

　　   </property>

　　   <property>

　　   　　<name>yarn.resourcemanager.scheduler.address</name>

　　　　   <value>master:8030</value>

　　　</property>

　　   <property>

　　　　   <name>yarn.resourcemanager.address</name>

　　　      <value>master:8050</value>

　　　</property>

    4.3 编辑masters(/usr/local/hadoop/etc/hadoop/masters), 内容为master

    4.4 编辑slaves(/usr/local/hadoop/etc/hadoop/slaves,内容为

          slave1

          slave2

          slave3

    4.5 ssh到3台slaves机器，创建datanode目录/usr/local/hadoop/hadoop_data/hdfs/datanode

    4.6 master机器上创建namenode目录/usr/local/hadoop/hadoop_data/hdfs/namenode

    4.7 格式化NameNode HDFS目录(hdfs namenode -format)， 注意：首次格式化时使用

    4.8 启动多节点Hadoop Cluster

          start-dfs.sh

          start-yarn.sh

    4.9 查看ResourceManager Web界面(http://master:8088)及NameNode Web界面(http://master:50070)

    4.10 关闭多节点Hadoop Cluster

          stop-dfs.sh

          stop-yarn.sh

 

其他：删除多余内网ip命令ip addr del 192.168.1.105/24 dev ens33