以下内容主要是针对遇上storm在zookeeper上的目录结构是怎样的等问题,我们该怎么处理呢。下面这篇文章将为你提供一个解决思路,希望能帮你解决到相关问题。
Storm中zookeeper的目录结构概述
Storm是一个分布式实时计算系统,通过基于zookeeper(一个高可靠的分布式协调服务)来实现分布式的协调与管理。Storm在zookeeper上也有自己的目录结构,这种目录结构为Storm提供了一个可重入的、高可靠的管理状态和结构。下面将介绍Storm在zookeeper上的目录结构。
Storm在zookeeper上的目录结构
Storm在zookeeper上的目录结构主要包含4个部分,分别为:
- /storm
- /storm/errors
- /storm/assignments
- /storm/topology
下面将分别介绍这四部分的目录结构和含义。
/storm目录
/storm目录是Storm在zookeeper上的根目录,所有Storm相关的zookeeper目录节点都将嵌套在这个节点下。/storm目录下还包含3个子目录,分别为:
- /storm/clusterstate
- /storm/stormdist
- /storm/log-configs
="/storm/clusterstate"节点维护了Storm集群的整体状态信息,如集群中Supervisor的数量和node ID等信息。
="/storm/stormdist"节点用来存储Storm应用程序发布的jar包信息,在节点下会建立一个以topology名称命名的子目录,下放topology的jar包。
="/storm/log-configs"节点用来存储Storm控制台输出的日志信息,在节点下会建立一个以worker的port号命名的子目录,下放worker节点日志信息。
/storm/errors目录和/storm/assignments目录
/storm/errors目录用来存储集群中出现的错误信息,例如Supervisor的失效或者worker的注册失败等情况。
/storm/assignments目录用来存储各个Topology当前所分配的执行节点。当一个topology被提交时,Storm会随机选择一台可用的worker节点来分配此topology。在/storm/assignments节点下,会为每一个topology创建一个topologyid的子节点,并在这个子节点下创建一个executors的子节点,用来存储该topology分配到的executor以及运行这些executor的worker节点标识符。
以上是Storm在zookeeper上的目录结构概述。
总结
以上就是为你整理的storm在zookeeper上的目录结构是怎样的全部内容,希望文章能够帮你解决相关问题,更多请关注本站相关栏目的其它相关文章!