關(guān)于mapreduce程序運(yùn)行在yarn上時(shí)內(nèi)存的分配一直是一個(gè)讓我蒙圈的事情，單獨(dú)查任何一個(gè)資料都不能很好的理解透徹。于是，最近查了大量的資料，綜合各種解釋，終于理解到了一個(gè)比較清晰的程度，在這里將理解的東西做一個(gè)簡(jiǎn)單的記錄，以備忘卻。 首先，先將關(guān)于mapreduce和yarn關(guān)于內(nèi)存分配的參數(shù)粘貼上: yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb yarn.nodemanager.resource.memory-mb yarn.nodemanager.vmem-pmem-ratio yarn.scheduler.increment-allocation-mb mapreduce.map.memory.mb mapreduce.reduce.memory.mb mapreduce.map.java.opts mapreduce.reduce.java.opts 個(gè)人認(rèn)為，針對(duì)mapreduce任務(wù)，這些參數(shù)只有放在一起學(xué)習(xí)才能真正理解，如果單獨(dú)考慮，理解不清晰。下面開(kāi)始詳細(xì)講解。 一、理解參數(shù)yarn.nodemanager.resource.memory-mb,yarn.nodemanager.vmem-pmem-ratio yarn.nodemanager.resource.memory-mb很簡(jiǎn)單，就是你的這臺(tái)服務(wù)器節(jié)點(diǎn)上準(zhǔn)備分給yarn的內(nèi)存; yarn.nodemanager.vmem-pmem-ratio網(wǎng)上解釋都是"每使用1MB物理內(nèi)存，最多可用的虛擬內(nèi)存數(shù)，默認(rèn)2.1"，但是目前我還是不太理解其作用是什么，有知道的朋友希望能詳細(xì)解釋下。 二、理解參數(shù)yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb 都知道，在yarn上運(yùn)行程序時(shí)每個(gè)task都是在獨(dú)立的Container中運(yùn)行的，單個(gè)Container可以申請(qǐng)的最小和最大內(nèi)存的限制就是這兩個(gè)參數(shù)，注意，并不是這兩個(gè)參數(shù)決定單個(gè)Container申請(qǐng)內(nèi)存的大小，而僅僅是限制的一個(gè)范圍。 三、理解yarn的內(nèi)存規(guī)整化因子和內(nèi)存規(guī)整化算法 先不說(shuō)和哪個(gè)參數(shù)有關(guān)，單純理解這一概念。舉例: 假如規(guī)整化因子b=512M，上述講的參數(shù)yarn.scheduler.minimum-allocation-mb為1024，yarn.scheduler.maximum-allocation-mb為8096，然后我打算給單個(gè)map任務(wù)申請(qǐng)內(nèi)存資源(mapreduce.map.memory.mb): 申請(qǐng)的資源為a=1000M時(shí)，實(shí)際得到的Container內(nèi)存大小為1024M(小于yarn.scheduler.minimum-allocation-mb的話自動(dòng)設(shè)置為yarn.scheduler.minimum-allocation-mb); 申請(qǐng)的資源為a=1500M時(shí)，實(shí)際得到的Container內(nèi)存大小為1536M，計(jì)算公式為:ceiling(a/b)*b，即ceiling(a/b)=ceiling(1500/512)=3,3*512=1536。此處假如b=1024，則Container實(shí)際內(nèi)存大小為2048M 也就是說(shuō)Container實(shí)際內(nèi)存大小最小為yarn.scheduler.minimum-allocation-mb值，然后增加時(shí)的最小增加量為規(guī)整化因子b，最大不超過(guò)yarn.scheduler.maximum-allocation-mb 四、理解mapreduce.map.memory.mb、mapreduce.reduce.memory.mb "三"中提到的"打算給單個(gè)map任務(wù)申請(qǐng)內(nèi)存資源"也就是a,其實(shí)就是指的"mapreduce.map.memory.mb"或"mapreduce.reduce.memory.mb"，注意其值不要超過(guò)yarn.scheduler.maximum-allocation-mb 五、理解mapreduce.map.java.opts、mapreduce.reduce.java.opts 以map任務(wù)為例，Container其實(shí)就是在執(zhí)行一個(gè)腳本文件，而腳本文件中，會(huì)執(zhí)行一個(gè) Java 的子進(jìn)程，這個(gè)子進(jìn)程就是真正的 Map Task，mapreduce.map.java.opts 其實(shí)就是啟動(dòng) JVM 虛擬機(jī)時(shí)，傳遞給虛擬機(jī)的啟動(dòng)參數(shù)，而默認(rèn)值 -Xmx200m 表示這個(gè) Java 程序可以使用的最大堆內(nèi)存數(shù)，一旦超過(guò)這個(gè)大小，JVM 就會(huì)拋出 Out of Memory 異常，并終止進(jìn)程。而 mapreduce.map.memory.mb 設(shè)置的是 Container 的內(nèi)存上限，這個(gè)參數(shù)由 NodeManager 讀取并進(jìn)行控制，當(dāng) Container 的內(nèi)存大小超過(guò)了這個(gè)參數(shù)值，NodeManager 會(huì)負(fù)責(zé) kill 掉 Container。在后面分析 yarn.nodemanager.vmem-pmem-ratio 這個(gè)參數(shù)的時(shí)候，會(huì)講解 NodeManager 監(jiān)控 Container 內(nèi)存（包括虛擬內(nèi)存和物理內(nèi)存）及 kill 掉 Container 的過(guò)程。 也就是說(shuō)，mapreduce.map.java.opts一定要小于mapreduce.map.memory.mb mapreduce.reduce.java.opts同mapreduce.map.java.opts一樣的道理。 六、理解規(guī)整化因子指的是哪個(gè)參數(shù) "三"中提到的規(guī)整化因子也就是b，具體指的是哪個(gè)參數(shù)和yarn使用的調(diào)度器有關(guān)，一共有三種調(diào)度器:capacity scheduler（默認(rèn)調(diào)度器）、fair scheduler和fifo scheduler 當(dāng)使用capacity scheduler或者fifo scheduler時(shí)，規(guī)整化因子指的就是參數(shù)yarn.scheduler.minimum-allocation-mb，不能單獨(dú)配置，即yarn.scheduler.increment-allocation-mb無(wú)作用; 當(dāng)使用fair scheduler時(shí)，規(guī)整化因子指的是參數(shù)yarn.scheduler.increment-allocation-mb 至此，關(guān)于yarn和mapreduce的任務(wù)內(nèi)存配置問(wèn)題講完了，這也是我目前理解的層次。