Hadoop 参数配置优化

　　主要参照官方给出的配置指南进行的。

　　hadoop.tmp.dir

　　默认值： /tmp

　　说明： 尽量手动配置这个选项，否则的话都默认存在了里系统的默认临时文件/tmp里。并且手动配置的时候，如果服务器是多磁盘的，每个磁盘都设置一个临时文件目录，这样便于mapreduce或者hdfs等使用的时候提高磁盘IO效率。

　　fs.trash.interval

　　默认值： 0

　　说明： 这个是开启hdfs文件删除自动转移到垃圾箱的选项，值为垃圾箱文件清除时间。一般开启这个会比较好，以防错误删除重要文件。单位是分钟。

　　fs.inmemory.size.mb

　　默认值：

　　说明： reduce阶段用户合并map输出的内存限制。这里设置200，可根据自身硬件设备进行更改测试。

　　io.sort.factor

　　默认值：10

　　说明：排序文件的时候一次同时最多可并流的个数，这里设置100。新版本为mapreduce.task.io.sort.factor。

　　io.sort.mb

　　默认值：100

　　说明： 排序内存使用限制，这里设置200m。新版本看说明貌似改成了这个mapreduce.task.io.sort.mb。

　　io.file.buffer.size

　　默认值：4096

　　说明：SequenceFiles在读写中可以使用的缓存大小，这里设置为131072。貌似这个参数在新版本里变为了：file.stream-buffer-size，单位bytes 。

　　dfs.blocksize

　　默认值：67108864

　　说明： 这个就是hdfs里一个文件块的大小了，默认64M，这里设置134217728，即128M，太大的话会有较少map同时计算，太小的话也浪费可用map个数资源，而且文件太小namenode就浪费内存多。根据需要进行设置。

　　dfs.namenode.handler.count

　　默认值：10

　　说明：hadoop系统里启动的任务线程数，这里改为40，同样可以尝试该值大小对效率的影响变化进行最合适的值的设定。

　　mapred.child.java.opts

　　默认值：-Xmx200m

　　说明：jvms启动的子线程可以使用的最大内存。改为-Xmx1024m，内存再大也可以继续增加。但是如果一般任务文件小，逻辑不复杂用不了那么多的话太大也浪费。

　　mapreduce.jobtracker.handler.count

　　默认值：10

　　说明：JobTracker可以启动的线程数，一般为tasktracker节点的4%。

　　mapreduce.reduce.shuffle.parallelcopies

　　默认值：5

　　说明：reuduce shuffle阶段并行传输数据的数量。这里改为10。集群大可以增大。

　　mapreduce.tasktracker.http.threads

　　默认值：40

　　说明：map和reduce是通过http进行数据传输的，这个是设置传输的并行线程数。

　　mapreduce.map.output.compress

　　默认值：false

　　说明： map输出是否进行压缩，如果压缩就会多耗cpu，但是减少传输时间，如果不压缩，就需要较多的传输带宽。配合mapreduce.map.output.compress.codec使用，默认是org.apache.hadoop.io.compress.DefaultCodec，可以根据需要设定数据压缩方式。

　　mapreduce.reduce.shuffle.merge.percent

[Ok3w_NextPage]

　　默认值： 0.66

　　说明：reduce归并接收map的输出数据可占用的内存配置百分比。类似mapreduce.reduce.shuffle.input.buffer.percen属性。

　　mapreduce.reduce.shuffle.memory.limit.percent

　　默认值： 0.25

　　说明：一个单一的shuffle的最大内存使用限制。