如何查看hadoop配置中mapred.tasktracker.reduce.tasks.maximum
发布网友
共1个回答
热心网友
通过把一部分log已经迁移到Hadoop集群上
并由Hive来执行相关的查询
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2
也即：每一个tasktracker同时运行的map任务数为2
照此默认设置，查询80天某用户的操作日志，耗时5mins,
45sec
经过测试，发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu
cores数目减1比较合适
此时的运行效率最高，大概花费3mins,
25sec
我们现在的机器都是8核的，所以最终配置如下：
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>8</value>
<description>The
maximum
number
of
map
tasks
that
will
be
run
simultaneously
by
a
task
tracker.
</description>
</property>
对于mapred.map.tasks（每个job的map任务数）值，hadoop默认值也为2
可以在执行hive前，通过set
mapred.map.tasks=24来设定
但由于使用hive，会操作多个input文件，所以hive默认会把map的任务数设置成输入的文件数目
即使你通过set设置了数目，也不起作用…
对于mapred.rece.tasks（每个job的rece任务数）值，hadoop默认值也为2，最好设为配置参数，你想实现的分块数目。
如果mapred.tasktracker.map.tasks.maximum
的设置超过
cpu
cores数目。
则在执行过程中会出现异常：
10/12/30
10:43:51
INFO
mapred.JobClient:
Task
Id
:
attempt_201012300937_0001_m_000032_1,
Status
:
FAILED
java.io.IOException:
Could
not
obtain
block:
blk_-4623777799911007_1022
file=/user/asr/in-again/blog.20101213.5gram
