Hadoop YARN配置參數(shù)剖析(2)—權(quán)限與日志聚集相關(guān)參數(shù)
注意,配置這些參數(shù)前,應(yīng)充分理解這幾個參數(shù)的含義,以防止誤配給集群帶來的隱患。另外,這些參數(shù)均需要在yarn-site.xml中配置。
1. 權(quán)限相關(guān)配置參數(shù)
這里的權(quán)限由三部分組成,分別是:(1)管理員和普通用戶如何區(qū)分 (2)服務(wù)級別的權(quán)限,比如哪些用戶可以向集群提交ResourceManager提交應(yīng)用程序,(3)隊列級別的權(quán)限,比如哪些用戶可以向隊列A提交作業(yè)等。
管理員列表由參數(shù)yarn.admin.acl指定。
服務(wù)級別的權(quán)限是通過配置hadoop-policy.xml實現(xiàn)的,這個與Hadoop 1.0類似
隊列級別的權(quán)限是由對應(yīng)的資源調(diào)度器內(nèi)部配置的,比如Fair Scheduler或者Capacity Scheduler等,具體閱讀后面幾節(jié)。
2. 日志聚集相關(guān)配置參數(shù)
日志聚集是YARN提供的日志中央化管理功能,它能將運行完成的Container/任務(wù)日志上傳到HDFS上,從而減輕NodeManager負 載,且提供一個中央化存儲和分析機制。默認情況下,Container/任務(wù)日志存在在各個NodeManager上,如果啟用日志聚集功能需要額外的配 置。
(1) yarn.log-aggregation-enable
參數(shù)解釋:是否啟用日志聚集功能。
默認值:false
(2) yarn.log-aggregation.retain-seconds
參數(shù)解釋:在HDFS上聚集的日志最多保存多長時間。
默認值:-1
(3) yarn.log-aggregation.retain-check-interval-seconds
參數(shù)解釋:多長時間檢查一次日志,并將滿足條件的刪除,如果是0或者負數(shù),則為上一個值的1/10。
默認值:-1
(4) yarn.nodemanager.remote-app-log-dir
參數(shù)解釋:當(dāng)應(yīng)用程序運行結(jié)束后,日志被轉(zhuǎn)移到的HDFS目錄(啟用日志聚集功能時有效)。
默認值:/tmp/logs
(5) yarn.log-aggregation.retain-seconds
參數(shù)解釋:遠程日志目錄子目錄名稱(啟用日志聚集功能時有效)。
默認值:日志將被轉(zhuǎn)移到目錄
${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下
原文鏈接:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-log-aggregation/