实战Hadoop和HBase 4台Linux虚机环境下安装部署全过程

本文注重实际安装配置，主要用于指导未使用的hadoop 的技术人员，部署Hadoop 和HBase 学习环境。本次测试采用4 台虚拟机，操作系统为RHEL 6.2。

文章说明

在部署Hadoop 集群时，有一些需要注意的地方。了解这些地方，可以减少部署失败的概率，这些内容需要大家注意。

测试环境需要使用RHEL6.2。在使用PST 组提供的测试服务器，使用SUSE 11 时出现JAVA 不能运行现象，使用RHEL 6.4 可以解决JAVA 运行问题，但在启动Hadoop 集群中，namenode 一直未能成功启动，原因暂时未分析。

需要在/etc/hosts 文件中，配置服务器IP 和主机名，保证用hostname 返回的主机名和IP 地址对应。

示例如下：

[root@rhel6205 ~]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.62.15 rhel6205

192.168.62.16 rhel6206

192.168.62.17 rhel6207

192.168.62.18 rhel6208

[root@rhel6205 ~]#

需要使用64 的安装包。注意：从hadoop 官网下载的安装包，是32 位的lib 库，运行时，会存在问题。对于从官网下载的zookeeper 和HBase 安装文件，未发现64 位问题。

Hadoop 和HBase 在启动时，只需要在namenode 启动即可，zookeeper 需要在每个节点上运行启动脚本。

配置zookeeper 时，每个节点的myid 不同，该id 需要参考zoo.cfg 文件中的Server配置部分。

安装Hadoop

创建用户

创建hadoop 用户，并设置密码为111111。

[root@rhel6205 ~]# useradd hadoop

useradd: user 'hadoop' already exists

[root@rhel6205 ~]# passwd hadoop

Changing password for user hadoop.

New password:

BAD PASSWORD: it does not contain enough DIFFERENT characters

BAD PASSWORD: is a palindrome

Retype new password:

passwd: all authentication tokens updated successfully.

[root@rhel6205 ~]#

依次在192.168.62.15、192.168.62.17、192.168.62.18 上创建hadoop 用户。

建立互信

使用python 脚本ssh_rebuild.py 建立互信。

使用脚本建立互信前，请确保每个节点安装了Python。为了减少部署失败的情况，可以尝试在一个安装GBase 8a 集群的环境中，尝试安装Hadoop 集群。GBase 8a 集群在安装时，对系统环境变量和Python 均进行了部署，对于初学者，可以大大减少Hadoop 部署失败的几率。

[root@rhel6205 ~]# su - hadoop

[hadoop@rhel6205 ~]$ ls

[hadoop@rhel6205 ~]$ cd setup

[hadoop@rhel6205 setup]$ ll *.py

更多内容请下载实战Hadoop全文pdf版本。