Hadoop完全分布式环境搭建

一. 准备工作

实验环境：Vmware虚拟出的3台主机，系统为CentOS_6.4_i386

用到的软件：Hadoop-1.2.1-1.i386.rpm，jdk-7u9-linux-i586.rpm

主机规划：

IP地址                      主机名                    角色

192.168.2.22          master.flyence.tk        NameNode,JobTracker

192.168.2.42          datanode.flyence.tk      DataNode,TaskTracker

192.168.2.32          snn.flyence.tk          SecondaryNameNode

1. hostname命令修改主机名，并修改/etc/sysconfig/network中的主机

这里以master节点为例

[root@localhost ~]# hostname master.flyence.tk

[root@localhost ~]# vim /etc/sysconfig/network

[root@localhost ~]# logout

-

下面为/etc/sysconfig/network中的内容

NETWORKING=yes

HOSTNAME=master.flyence.tk

2. 在/etc/hosts中，记录3台主机的IP和主机名

3. 在3台主机上添加hadoop用户，并设定密码

# useradd hadoop

# echo "hadoop" | passwd --stdin hadoop

4. master节点的hadoop用户能够以基于密钥的验证方式登录其他节点，以便启动进程并执行监控等额外的管理工作。

[root@master ~]# su - hadoop

[hadoop@master ~]$ ssh-keygen -t rsa -P ''

[hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode.flyence.tk

[hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@snn.flyence.tk

二. 安装JDK

3台主机上都要安装，以下步骤要重复三遍

[root@master ~]# rpm -ivh jdk-7u9-linux-i586.rpm

编辑/etc/profile.d/java.sh，在文件中添加如下内容：

export PATH=/usr/java/latest/bin:$PATH

切换至hadoop用户，并执行如下命令测试jdk环境配置是否就绪

[hadoop@master ~]$ java -version

java version "1.7.0_09"

Java(TM) SE Runtime Environment (build 1.7.0_09-b05)

Java HotSpot(TM) Client VM (build 23.5-b02, mixed mode, sharing)

三. 安装Hadoop

集群中的每个节点都要安装Hadoop。

[root@master ~]# rpm -ivh hadoop-1.2.1-1.i386.rpm

切换至hadoop用户，验证Hadoop是否安装完成

[hadoop@master ~]$ hadoop version

Hadoop 1.2.1

Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152

Compiled by mattf on Mon Jul 22 15:17:22 PDT 2013

From source with checksum 6923c86528809c4e7e6f493b6b413a9a

This command was run using /usr/share/hadoop/hadoop-core-1.2.1.jar