yarn-site.xml的部分资源配置参数,主要是与内存相关
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了yarn-site.xml的部分资源配置参数,主要是与内存相关,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1289字,纯文字阅读大概需要2分钟。
内容图文
![yarn-site.xml的部分资源配置参数,主要是与内存相关](/upload/InfoBanner/zyjiaocheng/931/754c7020e1b2445fb987332d95dbf2ca.jpg)
vim yarn-site.xml
每个nodemanager 可分配的内存 100G: yarn.nodemanager.resource.memory-mb
每个nodemanager 可分配的CPU 20核 :yarn.nodemanager.resource.cpu-vcores
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>102400</value>
<description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>20</value>
<description>Number of vcores that can be allocated for containers.</description>
</property>
yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量。
yarn.nodemanager.vmem-pmem-ratio
任务每使用1MB物理内存,最多可使用虚拟内存量,默认是2.1。
yarn.nodemanager.pmem-check-enabled
是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true。
yarn.nodemanager.vmem-check-enabled
是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true。
yarn.scheduler.minimum-allocation-mb
单个任务可申请的最少物理内存量,默认是1024(MB),如果一个任务申请的物理内存量少于该值,则该对应的值改为这个数。
yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量,默认是8192(MB)。
内容总结
以上是互联网集市为您收集整理的yarn-site.xml的部分资源配置参数,主要是与内存相关全部内容,希望文章能够帮你解决yarn-site.xml的部分资源配置参数,主要是与内存相关所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。