[深入浅出 Yarn 架构与实现]6-3 NodeManager 分布式缓存

一、分布式缓存介绍

主要作用就是将用户应用程序执行时，所需的外部文件资源下载缓存到各个节点。
YARN 分布式缓存工作流程如下:

客户端将应用程序提交到 RM 上。
RM 将与某个 NM 进行通信，启动应用程序 AM，NM 收到命令后，首先从 HDFS 上下载文件 (缓存，然后启动 AM。
AM 与 RM 通信，以请求和获取计算资源。
AM 收到新分配到的计算资源后，与对应的 NM 通信，以启动任务。
如果应用程序第一次在该节点上启动任务，NM 首先从 HDFS 上下载文件缓存到本地，然后启动任务。
NM 后续收到启动任务请求后，如果文件已在本地缓存，则直接执行任务，否则等待文件缓存完成后再启动。
各个节点上的缓存文件由对应的 NM 管理和维护。在 Hadoop 中，分布式缓存并不是将文件缓存到集群中各个节点的内存中，而是将文件缓存到各个节点的磁盘上，以便执行任务时直接从磁盘上读取文件。

二、特性介绍

一）资源可见性和分类

资源缓存是使用时触发的，也就是第一个用到该资源的任务触发。后续任务无需再进行缓存，直接使用即可。
根据可见性，NM将资源分为三类：

Private：节点上同一用户的所有应用程序共享该资源，只要该用户其中一个应用程序将资源缓存到本地，该用户的所有应用程序都可以使用；
Application：节点上同一应用程序的所有Container共享该资源。

分布式缓存完成的主要功能是文件下载，涉及大量的磁盘读写，因此整个过程采用了异步并发模型加快文件下载速度，以避免同步模型带来的性能开销。

二）分布式缓存实现

yarn.nodemanager.local-dirs 指定的目录列表中，在每个目录中，资源按照以下方式存放：

${yarn.nodemanager.local-dirs}/filecache/

PRIVATE 资源：存放在 ${yarn.nodemanager.local-dirs}/usercache/${user}/filecache/ 目录下，每个资源将单独存放在以一个随机整数命名的目录中，且目录的访问权限均为 0710。
APPLICATION 资源：存放在 ${yarn.nodemanager.local-dirs}/usercache/${user}/${appcache}/${appid}/filecache/ 目录下，每个资源将单独存放在以一个随机整数命名的目录中，且目录的访问权限均为 0710。

${yarn.nodemanager.local-dirs}/usercache/${user}/${appcache}/${appid}/${containerid} 目录下，其主要保存 jar 包文件、字典文件对应的软链接。
目录结构如下所示：

./nm-local-dir/
|-- filecache		// PUBLIC资源
|   `-- 10			// 每个资源将单独存放在以一个随机整数命名的目录中
|-- nmPrivate
|   |-- application_xxxx_xxx
|   |   |-- container_xxx_xxx_xxx_xx_xxxx
|   |   |-- container_xxx_xxx_xxx_xx_xxxx	// 私有目录数据（执行脚本、token文件、pid文件）
|   |   |   |-- container_xxx_xxx_xxx_xx_xxxx.pid
|   |   |   |-- container_xxx_xxx_xxx_xx_xxxx.tokens
|   |   |   `-- launch_container.sh
|   |-- application_xxxx_xxx
|   `-- application_xxxx_xxx
`-- usercache
    |-- userXxx
    |   |-- appcache		// APPLICATION资源
    |   `-- filecache		// PRIVATE资源
    |-- userXxx
    |   |-- appcache
    |   `-- filecache

三、清理策略

2、清理过期缓存
NodeManager 为了避免缓存的文件过多导致磁盘「撑爆」，其会定期清理过期的缓存文件，具体方法如下：

yarn.nodemanager.localizer.cache.cleanup.interval-ms

yarn.nodemanager.localizer.cache.target-size-mb

如果超过该值，则采用 LRU（Least Recently Used）算法清除已不再使用的缓存文件，直至文件容量低于设定值。

四、小结

本篇介绍了 NodeManager 分布式缓存，当你需要看 NM 本地目录，需要了解各目录中存储内容时，本篇提供了对应的帮助。同时也对 Container 启动流程做了简要的讲解，对后面了解 Container 生命周期提供了一定的前置知识。

编程笔记 » [深入浅出 Yarn 架构与实现]6-3 NodeManager 分布式缓存