/ 中存储网

学习hadoop 出现的问题,以及解决方案

2013-03-15 00:00:00 来源:中存储网
学习hadoop 出现的问题,以及解决方案
    博客分类: 云计算 hadoopjvmeclipse 

    1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

    Answer:

    程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。

    修改办法:

    修改2个文件。

    /etc/security/limits.conf

    vi /etc/security/limits.conf

    加上:

    * soft nofile 102400

    * hard nofile 409600

    ?

    $cd /etc/pam.d/

    $sudo vi login

    添加session ? ?required ? ? /lib/security/pam_limits.so

    ?

    2:Too many fetch-failures

    Answer:

    出现这个问题主要是结点间的连通不够全面。

    1) 检查 、/etc/hosts

    ? ?要求本机ip 对应 服务器名

    ? ?要求要包含所有的服务器ip + 服务器名

    2) 检查 .ssh/authorized_keys

    ? ?要求包含所有服务器(包括其自身)的public key

    ?

    3:处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%?

    Answer:

    结合第二点,然后

    修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000?

    ?

    4:能够启动datanode,但无法访问,也无法结束的错误

    在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置就是在NameNode上删除/home/hadoop/NameData,在DataNode上删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系统时,每个存储的名字空间都对应了建立时间的那个版本(可以查看/home/hadoop /NameData/current目录下的VERSION文件,上面记录了版本信息),在重新格式化新的分布式系统文件时,最好先删除NameData 目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。

    注意:删除是个很危险的动作,不能确认的情况下不能删除!!做好删除的文件等通通备份!!

    ?

    5:java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log

    出现这种情况大多是结点断了,没有连接上。

    ?

    6:java.lang.OutOfMemoryError: Java heap space

    出现这种异常,明显是jvm内存不够得原因,要修改所有的datanode的jvm内存大小。

    Java -Xms1024m -Xmx4096m

    一般jvm的最大内存使用应该为总内存大小的一半,我们使用的8G内存,所以设置为4096m,这一值可能依旧不是最优的值。(其实对于最好设置为真实物理内存大小的0.8)

    7:出现map%,但是呢reduce到98%左右的时候呢,就直接进failedjobs了

    解决办法:

    检查mapred.map.tasks是不是设置的太多了,设置太多的话会导致处理大量的小文件

    检查mapred.reduce.parallel.copies是否设置合适。

    ?

    8:

    系统根目录下的/tmp文件夹是不可以删除的

    否则bin/hadoop jps

    会出现异常:

    Exception in thread "main" java.lang.NullPointerException ?at sun.jvmstat.perfdata.monitor.protocol.local.LocalVmManager.activeVms(LocalVmManager.java:127)

    ? ? ? ? at sun.jvmstat.perfdata.monitor.protocol.local.MonitoredHostProvider.activeVms(MonitoredHostProvider.java:133)

    ? ? ? ? at sun.tools.jps.Jps.main(Jps.java:45)

    同时

    bin/hive

    Unable to create log directory /tmp/hadoopuser

    ?

    2:Too many fetch-failures

    Answer:

    出现这个问题主要是结点间的连通不够全面。

    1) 检查 、/etc/hosts

    ? ?要求本机ip 对应 服务器名

    ? ?要求要包含所有的服务器ip + 服务器名

    2) 检查 .ssh/authorized_keys

    ? ?要求包含所有服务器(包括其自身)的public key

    ?

    3:处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%?

    Answer:

    结合第二点,然后

    修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000?

    ?

    4:能够启动datanode,但无法访问,也无法结束的错误

    在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置就是在NameNode上删除/home/hadoop/NameData,在DataNode上删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系统时,每个存储的名字空间都对应了建立时间的那个版本(可以查看/home/hadoop /NameData/current目录下的VERSION文件,上面记录了版本信息),在重新格式化新的分布式系统文件时,最好先删除NameData 目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。

    注意:删除是个很危险的动作,不能确认的情况下不能删除!!做好删除的文件等通通备份!!

    ?

    5:java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log

    出现这种情况大多是结点断了,没有连接上。

    ?

    6:java.lang.OutOfMemoryError: Java heap space

    出现这种异常,明显是jvm内存不够得原因,要修改所有的datanode的jvm内存大小。

    Java -Xms1024m -Xmx4096m

    一般jvm的最大内存使用应该为总内存大小的一半,我们使用的8G内存,所以设置为4096m,这一值可能依旧不是最优的值。(其实对于最好设置为真实物理内存大小的0.8)

    7:出现map%,但是呢reduce到98%左右的时候呢,就直接进failedjobs了

    解决办法:

    检查mapred.map.tasks是不是设置的太多了,设置太多的话会导致处理大量的小文件

    检查mapred.reduce.parallel.copies是否设置合适。

    ?

    8:

    系统根目录下的/tmp文件夹是不可以删除的

    否则bin/hadoop jps

    会出现异常:

    Exception in thread "main" java.lang.NullPointerException ?at sun.jvmstat.perfdata.monitor.protocol.local.LocalVmManager.activeVms(LocalVmManager.java:127)

    ? ? ? ? at sun.jvmstat.perfdata.monitor.protocol.local.MonitoredHostProvider.activeVms(MonitoredHostProvider.java:133)

    ? ? ? ? at sun.tools.jps.Jps.main(Jps.java:45)

    同时

    bin/hive

    Unable to create log directory /tmp/hadoopuser

    ?

    2:Too many fetch-failures

    Answer:

    出现这个问题主要是结点间的连通不够全面。

    1) 检查 、/etc/hosts

    ? ?要求本机ip 对应 服务器名

    ? ?要求要包含所有的服务器ip + 服务器名

    2) 检查 .ssh/authorized_keys

    ? ?要求包含所有服务器(包括其自身)的public key

    ?

    3:处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%?

    Answer:

    结合第二点,然后

    修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000?

    ?

    4:能够启动datanode,但无法访问,也无法结束的错误

    在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置就是在NameNode上删除/home/hadoop/NameData,在DataNode上删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系统时,每个存储的名字空间都对应了建立时间的那个版本(可以查看/home/hadoop /NameData/current目录下的VERSION文件,上面记录了版本信息),在重新格式化新的分布式系统文件时,最好先删除NameData 目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。

    注意:删除是个很危险的动作,不能确认的情况下不能删除!!做好删除的文件等通通备份!!

    ?

    5:java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log

    出现这种情况大多是结点断了,没有连接上。

    ?

    6:java.lang.OutOfMemoryError: Java heap space

    出现这种异常,明显是jvm内存不够得原因,要修改所有的datanode的jvm内存大小。

    Java -Xms1024m -Xmx4096m

    一般jvm的最大内存使用应该为总内存大小的一半,我们使用的8G内存,所以设置为4096m,这一值可能依旧不是最优的值。(其实对于最好设置为真实物理内存大小的0.8)

    7:出现map%,但是呢reduce到98%左右的时候呢,就直接进failedjobs了

    解决办法:

    检查mapred.map.tasks是不是设置的太多了,设置太多的话会导致处理大量的小文件

    检查mapred.reduce.parallel.copies是否设置合适。

    ?

    8:

    系统根目录下的/tmp文件夹是不可以删除的

    (jps is based on jvmstat and it needs to be able to secure a memory mapped file on the temporary file system.?

    否则bin/hadoop jps

    会出现异常:

    Exception in thread "main" java.lang.NullPointerException ?at sun.jvmstat.perfdata.monitor.protocol.local.LocalVmManager.activeVms(LocalVmManager.java:127)

    ? ? ? ? at sun.jvmstat.perfdata.monitor.protocol.local.MonitoredHostProvider.activeVms(MonitoredHostProvider.java:133)

    ? ? ? ? at sun.tools.jps.Jps.main(Jps.java:45)

    同时

    bin/hive

    Unable to create log directory /tmp/hadoopuser

    ?

    ?

    hadoop java.io.ioexception:cannot open filename /user/...

    在eclipse里面写程序运行时,出现了这样的错误,hadoop java.io.ioexception:cannot open filename /user/...

    ?

    弄了半天,还查看了日志文件,可能是1)输入文件名写错了2)把hadoop.temp.dir下全删了,datanode的也是,然后重新格式化重启hadoop3)在安全模式,等待自动停止或手动停止安全模式

    ?

    ?

    ?

    ?

    10/10/25 16:45:39 INFO mapred.JobClient: ?map 92% reduce 30%

    10/10/25 16:45:44 INFO mapred.JobClient: Task Id : attempt_201010251638_0003_m_000013_1, Status : FAILED

    java.io.IOException: Cannot open filename /user/eryk/input/conf

    ?

    额,发现是一个命令打的有问题

    错误的命令:

    eryk@eryk-1520:~/tmp/hadoop$ bin/hadoop fs -put conf/ input

    包含的内容:

    eryk@eryk-1520:~/tmp/hadoop$ bin/hadoop fs -lsr

    drwxr-xr-x ? - eryk supergroup ? ? ? ? ?0 2010-10-25 16:49 /user/eryk/input

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 3936 2010-10-25 16:48 /user/eryk/input/capacity-scheduler.xml

    drwxr-xr-x ? - eryk supergroup ? ? ? ? ?0 2010-10-25 16:49 /user/eryk/input/conf

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 3936 2010-10-25 16:49 /user/eryk/input/conf/capacity-scheduler.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?535 2010-10-25 16:49 /user/eryk/input/conf/configuration.xsl

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?388 2010-10-25 16:49 /user/eryk/input/conf/core-site.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 2360 2010-10-25 16:49 /user/eryk/input/conf/hadoop-env.sh

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 1245 2010-10-25 16:49 /user/eryk/input/conf/hadoop-metrics.properties

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 4190 2010-10-25 16:49 /user/eryk/input/conf/hadoop-policy.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?258 2010-10-25 16:49 /user/eryk/input/conf/hdfs-site.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 2815 2010-10-25 16:49 /user/eryk/input/conf/log4j.properties

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?274 2010-10-25 16:49 /user/eryk/input/conf/mapred-site.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ? 10 2010-10-25 16:49 /user/eryk/input/conf/masters

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ? 10 2010-10-25 16:49 /user/eryk/input/conf/slaves

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 1243 2010-10-25 16:49 /user/eryk/input/conf/ssl-client.xml.example

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 1195 2010-10-25 16:49 /user/eryk/input/conf/ssl-server.xml.example

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?535 2010-10-25 16:48 /user/eryk/input/configuration.xsl

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?388 2010-10-25 16:48 /user/eryk/input/core-site.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 2360 2010-10-25 16:48 /user/eryk/input/hadoop-env.sh

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 1245 2010-10-25 16:48 /user/eryk/input/hadoop-metrics.properties

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 4190 2010-10-25 16:48 /user/eryk/input/hadoop-policy.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?258 2010-10-25 16:48 /user/eryk/input/hdfs-site.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 2815 2010-10-25 16:48 /user/eryk/input/log4j.properties

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?274 2010-10-25 16:48 /user/eryk/input/mapred-site.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ? 10 2010-10-25 16:48 /user/eryk/input/masters

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ? 10 2010-10-25 16:48 /user/eryk/input/slaves

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 1243 2010-10-25 16:48 /user/eryk/input/ssl-client.xml.example

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 1195 2010-10-25 16:48 /user/eryk/input/ssl-server.xml.example

    ?

    发现里面的内容重复了一遍

    ?

    修改后的命令:

    eryk@eryk-1520:~/tmp/hadoop$ bin/hadoop fs -put conf input

    只是去掉了conf后面的"/"?

    里面的内容:

    eryk@eryk-1520:~/tmp/hadoop$ bin/hadoop fs -lsr

    drwxr-xr-x ? - eryk supergroup ? ? ? ? ?0 2010-10-25 16:49 /user/eryk/input

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 3936 2010-10-25 16:49 /user/eryk/input/capacity-scheduler.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?535 2010-10-25 16:49 /user/eryk/input/configuration.xsl

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?388 2010-10-25 16:49 /user/eryk/input/core-site.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 2360 2010-10-25 16:49 /user/eryk/input/hadoop-env.sh

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 1245 2010-10-25 16:49 /user/eryk/input/hadoop-metrics.properties

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 4190 2010-10-25 16:49 /user/eryk/input/hadoop-policy.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?258 2010-10-25 16:49 /user/eryk/input/hdfs-site.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 2815 2010-10-25 16:49 /user/eryk/input/log4j.properties

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ?274 2010-10-25 16:49 /user/eryk/input/mapred-site.xml

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ? 10 2010-10-25 16:49 /user/eryk/input/masters

    -rw-r--r-- ? 1 eryk supergroup ? ? ? ? 10 2010-10-25 16:49 /user/eryk/input/slaves

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 1243 2010-10-25 16:49 /user/eryk/input/ssl-client.xml.example

    -rw-r--r-- ? 1 eryk supergroup ? ? ? 1195 2010-10-25 16:49 /user/eryk/input/ssl-server.xml.example

    ?