/ 中存储网

告诉你Hadoop0.20.2版本在Ubuntu下安装和配置的方法及命令

2015-12-10 09:10:56 来源:中存储网

1、安装JDK
(1)下载安装JDK:确保计算机联网之后命令行输入接下来命令安装JDK
sudo apt-get install sun-java6-jdk
(2)配置计算机Java环境:打开/etc/profile,在文件最后输入接下来内容
export JAVA_HOME = (Java安装目录)
export CLASSPATH = ".:$JAVA_HOME/lib:$CLASSPATH"
export PATH = "$JAVA_HOME/:PATH"
(3)验证Java是否安装成功
输入 java -version ,输出Java版本信息即为安装成功。

2、安装配置SSH

(1)下载安装SSH:同样在命令行输入接下来命令安装SSH
sudo apt-get install ssh
(2)配置无密码登录本机:在命令行输入接下来两条命令
ssh-keygen -t dsa -P " -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
(3)验证SSH是否安装成功
输入 ssh localhost 。一旦显示本机登录成功就表明安装成功。

3、安装运行Hadoop(以0.20.2版本为例)

(1)下载Hadoop:在http://www.apache.org/dyn/closer.cgi/hadoop/core/页面上下载Hadoop。

(2)安装配置Hadoop

单节点配置:
安装单节点的Hadoop无需配置,在这种方式下,Hadoop被认作为一个单独的Java进程。
伪分布配置:
伪分布的Hadoop是只有一个节点的集群。在这个集群中,计算机既是master也是slave,即使 namenode也是datanode,既是jobtracker也是tasktracker。

配置的过程如下:

a、进入conf文件夹修改接下来的文件。
Hadoop-env.sh中加入接下来内容:
export JAVA_HOME = (JAVA安装目录)
core-site.xml文件内容修改为接下来内容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml文件内容修改为接下来内容:
<configuration>
<property>
<name>fs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml文件内容修改为接下来内容:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

b、格式化Hadoop文件系统,在命令行输入命令:
bin/hadoop namenode -format

c、启动Hadoop,在命令行输入命令:
bin/start-all.sh

d、验证Hadoop是否安装成功,在浏览器中输入接下来网址,一旦正常打开说明安装成功。
http://localhost:50030 (mapreduce的web页面)
http://localhost:50070 (hdfs的web页面)