Klustron 对等部署
Klustron 对等部署
01 对等部署(Peer Deployment)简介
Klustron 的核心组件如下图所示,由计算节点和存储节点组成。在一个klustron集群中,计算节点做查询处理,存储集群(storage shard, 简称shard)存储用户数据。计算节点与集群内的所有shard的存储节点交互做数据读写和事务处理。客户应用程序可以连接到任意一台计算节点执行 Klustron 集群的数据处理任务。 计算节点主要负责数据处理计算,通常是 CPU 资源密集型负载,而存储节点是 IO 资源密集型负载。在实际生产环境部署过程中,可以将计算节点和存储节点部署在同一台服务器上,以有效利用CPU,内存,存储,网络等资源。
对于数据读写负载不高的集群来说,为了充分利用硬件资源,适合使用本文介绍的对等部署模式来部署Klustron集群的计算和存储节点。无论是否使用对等部署方式来安装集群,都使用XPanel 完成对等部署的安装。
典型的对等部署结构下图所示:
Klustron 集群的物理服务器数量没有限制,对等部署架构的特点是计算节点与存储节点并存于同一台物理服务器内,每台服务器既运行计算节点,同时也运行存储节点。
出于高可用性和高可靠性考虑,一个存储集群(storage shard)的主从节点不能位于同一台服务器内,而应该对等的分布在其他的服务器里。
02 对等部署指南
需要根据以下规则设置合理的部署配置文件交给XPanel或者cluster_mgr完成对等部署。使用XPanel的GUI界面或者cluster_mgr API来做对等部署.
2.1 资源准备:在对等部署方案中,建议各台服务的硬件配置操作系统种类及版本保持一致。服务器之间的网络带宽建议是万兆或以上。
2.2 每台服务器的运行一个计算节点和一个shard的主节点,以及属于N个不同的shard的N个备节点。N是shard的备节点个数。
2.3集群的 Shard 个数不应该超过服务器的数量,每台服务器只能运行集群的一个 Shard 的主节点。
如果shard个数少于服务器数量的话,也可以不运行主节点。每个Shard的主从节点的参数配置应用一致。
2.4 每个 Shard 的备节点数量可以根据业务需求定义,Klustron 集群对shard备节点数量没有限制,但从可靠性考虑,建议每个 shard 最少 2 个备机节点。每个shard的备机节点数量不应超过本集群可用的服务器数量。
2.5 同一个shard的主从节点不要运行在同一台服务器内。
2.6 管理组件及其他组件
这些组件由集群服务器初始化脚本自动部署,用户无需干预。
元数据集群:部署为一主两从的高可用模式,占用资源较少,可根据现网情况选择相应服务器部署。
cluster_mgr 集群:部署为一主两从的高可用模式,占用资源较少,可根据现网情况选择相应服务器部署。
节点管理器:每台服务器部署一个。
03 安装部署过程
对等部署的安装详细过程可以参考文档: Klustron 快速入门安装指南.
对等部署的服务器资源规划参照下面表格(以三节点为例)