本文注重实际安装配置,主要用于指导未使用的hadoop 的技术人员,部署Hadoop 和HBase 学习环境。本次测试采用4 台虚拟机,操作系统为RHEL 6.2。
文章说明
在部署Hadoop 集群时,有一些需要注意的地方。了解这些地方,可以减少部署失败的概率,这些内容需要大家注意。
测试环境需要使用RHEL6.2。在使用PST 组提供的测试服务器,使用SUSE 11 时出现JAVA 不能运行现象,使用RHEL 6.4 可以解决JAVA 运行问题,但在启动Hadoop 集群中,namenode 一直未能成功启动,原因暂时未分析。
需要在/etc/hosts 文件中,配置服务器IP 和主机名,保证用hostname 返回的主机名和IP 地址对应。
示例如下:
[root@rhel6205 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.62.15 rhel6205
192.168.62.16 rhel6206
192.168.62.17 rhel6207
192.168.62.18 rhel6208
[root@rhel6205 ~]#
需要使用64 的安装包。注意:从hadoop 官网下载的安装包,是32 位的lib 库,运行时,会存在问题。对于从官网下载的zookeeper 和HBase 安装文件,未发现64 位问题。
Hadoop 和HBase 在启动时,只需要在namenode 启动即可,zookeeper 需要在每个节点上运行启动脚本。
配置zookeeper 时,每个节点的myid 不同,该id 需要参考zoo.cfg 文件中的Server配置部分。
安装Hadoop
创建用户
创建hadoop 用户,并设置密码为111111。
[root@rhel6205 ~]# useradd hadoop
useradd: user 'hadoop' already exists
[root@rhel6205 ~]# passwd hadoop
Changing password for user hadoop.
New password:
BAD PASSWORD: it does not contain enough DIFFERENT characters
BAD PASSWORD: is a palindrome
Retype new password:
passwd: all authentication tokens updated successfully.
[root@rhel6205 ~]#
依次在192.168.62.15、192.168.62.17、192.168.62.18 上创建hadoop 用户。
建立互信
使用python 脚本ssh_rebuild.py 建立互信。
使用脚本建立互信前,请确保每个节点安装了Python。为了减少部署失败的情况,可以尝试在一个安装GBase 8a 集群的环境中,尝试安装Hadoop 集群。GBase 8a 集群在安装时,对系统环境变量和Python 均进行了部署,对于初学者,可以大大减少Hadoop 部署失败的几率。
[root@rhel6205 ~]# su - hadoop
[hadoop@rhel6205 ~]$ ls
[hadoop@rhel6205 ~]$ cd setup
[hadoop@rhel6205 setup]$ ll *.py
更多内容请下载实战Hadoop全文pdf版本。