CDH集群内存不够？先别急着加机器

我们在使用CDH集群的时候，经常会跑一些spark、flink等任务，通常会占用集群较高的内存；

随着业务进展，数据量增加，可能会并行跑一些任务，或者是给历史任务分配的内存不足以运行现在的场景，就要给任务多分配内存，可能会遇到资源不够的情况，这时候先不要忙着加机器，看看有个参数调整了没！！

来看实例，举个三台服务器集群的例子，每台服务器的规格完全一样，来看下单台服务器的内存资源

单台内存有187G，这么看来三台服务器可利用总资源是 187*3=561G

然后我们去对比一下我们在CDH中给yarn分配的内存，路径如下

这里资源占用显示的451G(这是我调整之后的了，之前的没截图，调整前是270G)

下面就是调整的方法，点击上图的配置

然后点那个451G字节内存

在这里可以进行资源分配(我之前每台只分配了90G左右，现在改为每台150G)

在查看服务器单台内存之后，可以在这里按照需要合理的分配yarn管理的内存，当然core也是可以在上图配置中调整~~

因为我们一般hadoop集群运行都是基于yarn分配的内存的，所以这里可以合理地调高一些，这样是不是不用新增节点了~提高了集群地利用率~跑任务地时候分配内存也不用那么紧巴巴的了~~

原文地址：http://www.cnblogs.com/ycycycycyc/p/16876803.html