XPanel 集群管理
XPanel 集群管理
01 系统概述
XPanel 是 Klustron(原KunlunBase) 用户管理 Klustron 数据库集群,监控集群节点状态的 GUI,包含所有的集群管理功能和集群状态监控的功能界面。
02 集群管理功能介绍
2.1 集群管理
集群管理模块是该系统的重点功能之一,主要包含集群列表信息、集群展示和异常集群列表三大块。
集群列表信息页面主要对整体集群进行操作,包括:创建、删除集群、添加删除 shard、添加删除计算/存储节点、全量物理备份和恢复(回档)、逻辑备份和恢复、online DDL 和 repartition,集群扩缩容、存储集群主备切换,重做备机,设置和获取实例变量,节点监控等功能;
集群展示页面主要展示的是单个集群的部署图信息,针对单个集群的操作;异常集群列表,展示的是异常的集群信息。
2.1.1 集群列表
2.1.1.1 集群列表信息
集群列表信息页面可以新增集群,全量备份,回档集群,集群扩容,删除集群,添加/删除 shard,添加/删除节点,主备切换,重做备机,设置延迟告警时间,设置和获取实例变量,节点监控等功能模块。
新增集群
新增集群,点击新增按钮,填入信息后点击确认即可新增集群如图1,图2所示。新增集群的选择计算机是非必填项,分为存储类型的计算机和计算类型的计算机。 注意:如果整个 cluster_mgr 还没添加任何类型的计算机,是无法新增集群操作的。
图1
图2
新增集群成功后,如图3所示。其中选择计算机,高可用模式,shard 个数,副本数,集群名称,缓冲池大小这几项为必填项,其余为可选项,点击更多按钮可以填入可选项信息,如图4,图5所示。
图3
图4
图5
- 选择计算机,这里的计算机是从计算机管理中添加成功的计算机,如果发现选择计算机这里为空或者还没有自己想要选择的计算机,可先到计算机管理中添加计算机后 再来新增集群。
- 高可用模式,如果 cluster_mgr 为社区版:mgr,如果 cluster_mgr 为企业版:rbr。
- Shard 个数,默认为 1,可修改。
- 副本数,默认为 3。
- 业务名称,用户输入,必填项。
全量备份
全量备份是对现有集群通过某种备份存储目标进行备份。备份后可以到集群备份列表中查到相关数据备份文件。
1、进行全量备份的前提,系统要存在备份存储目标,如果备份存储目标记录为空,则不允许备份,具体新增备份存储目标,在 cluster_mgr 的时候会配置好,安装完 cluster_mgr 后会自动上报备份存储目标,前往备份存储目标管理可以看到相关记录。发起全量备份具体步骤,如图6所示。
图6
2、已经添加好备份存储目标后,点击发起全量备份按钮后,会显示 backup cluster working。如图7所示。
图7
3、到全量备份记录中查看刚刚才的备份任务是否成功,done 表示成功,failed 表示失败。如图8所示。还可以到集群备份列表中查看刚刚 2022-09-29 14:26:34 这个时间备份完成的数据信息。如图9所示。
图8
图9
回档集群
回档集群,在所选的集群中恢复出一个新集群,新集群和原集群一样,点击恢复集群。
回档集群,是新集群对原已备份的集群回档到某个备份时间点的数据。 注):
- 回档集群需要存在两个集群以上才能发起回档操作。
- 回档后,新集群的数据将被原集群的备份数据所覆盖,页面会有提示,请谨慎操作。
1、对已存在数据备份的集群进行集群回档操作。如果当前时间之前都没有备份过该集群,没办法进行集群回档操作。会回档失败。如图10所示。
图10
2、已存在数据备份文件时,点击回档按钮,会弹出页面,选择原集群名称,回档时间,确认保存即可进行恢复集群操作。图11所示。 注):原集群名称和回档时间必填项,回档时间:回档时间不能早于最早备份时间,不能晚于当前时间。
图11
3、填好信息后,点击确认即可恢复出一个新集群,如图12、图13所示。
图12
图13
集群扩容
集群扩容,是在某个 shard 负载过大时,迁表到新 shard 以减轻此负载,来达到扩容的目的。
集群扩容前提是某个集群中至少含有两个 shard,并且集群的计算节点中存在表,才能进行集群扩容操作。
集群扩容包含手动选表扩容和自动选表扩容两种方式。
手动选表扩容,具体操作,如下图所示。14~18所示。
图14
图15
图16
图17
图18
自动选表扩容,具体操作,如下图19~22所示。
图19
图20
图21
图22
删除集群
删除集群,在集群列表信息页面中,点击设置,进到单集群管理页面中进行集群删除操作。如图23,图24,图25,图26所示,删除集群成功后,如图27所示。
注):删除集群操作后,数据永久丢失,请谨慎操作。
图23
图24
图25
图26
图27
添加 shard
下面是对 vito 集群,添加 shard,如下图28~32所示。添加 shard 成功后,如图35-4,35-5所示。shard 列表可以查看 shard 下的 ip、端口、主备节点,节点状态等信息。
图28
图29
图30
图31
图32
删除 shard
删除 shard,集群列表 —> 集群列表信息 —> 选择 vito 集群右边的设置 —> shard 列表—>选择 shard_2 的删除按钮,点击删除操作,即可删除 shard。如图33~35所示。
图33
图34
图35
添加节点
添加节点,包含添加计算节点和添加存储节点。
- 添加计算节点,如图36~40所示。
图36
图37
图38
图39
图40
- 添加存储节点,如图41~45所示。
图41
图42
图43
图44
图45
删除节点
删除节点,包含删除计算节点和删除存储节点。
- 删除存储节点,如图46~49所示。
图46
图47
图48
图49
- 删除计算节点,如图50~53所示。
图50
图51
图52
图53
主备切换
主备切换,主要针对集群 shard 下的节点进行主备切换,主备切换分为手动进行主备切换和自动触发主备切换。XPanel 的主备切换为手动触发主备切换。具体操作,如图54~57所示。 注):备机节点为非必填,如果不选,后台会自动帮选备机节点进行随机切换。
图54
图55
图56
图57
重做备机节点
重做备机节点,当某个备机节点出现异常时,需要重做备机节点。重做备机字段包含选择 shard 名称,需重做的备机节点,是否从主节点上拉数据,主备延迟,是否备份,备份存储目标,限速等参数。
注):
- 需重做的备机节点,此选项必填,可以多选,一次性可以重做多个备机节点;
- 如果是否从主节点上拉数据,如果选择是,则不需要输入主备延迟时间;否则,默认的主备延迟时间是 30s,必填,可修改;
- 如果是否备份,选择是,则备份存储目标不能为空,是否备份默认值为否;
- 默认限速为 10KB/s,可修改。
具体操作,如图58~60所示。
图58
图59
图60
设置延迟告警时间
延迟告警时间默认为 100s,如果不设置,默认超过 100 会在集群列表中显示异常告警。如果设置告警时间,就按照最新的告警时间来,超过设置值会出现列表异常告警。
具体设置操作,如图61、62所示。设置成功后,在选择响应的shard,最大延迟时间会是最新设置的那个时间。
图61
图62
设置和获取实例变量
设置实例变量,选择 shard 下的存储节点进行设置,变量类型有 int 和 string 型,输入变量名和变量值保存即可。如图63、64所示。设置成功后如图63-64所示。
图63
图64
获取实例变量
获取实例变量,选择集群下的 shard 中的节点,输入变量名即可获取实例变量值。如图65所示。 图65
节点监控
节点监控只要是对存储节点和计算节点进行节点监控,显示节点的连接基本信息。如果是首次登录,需要输入账户名密码,账户名密码均为 admin。
存储节点的节点监控。如图图66、67所示。
图66
图67
存储节点的节点监控。如图68、69所示。
图68
图69
2.1.1.2 集群展示
集群展示主要展示单个集群部署图,展示的是单个集群所包含的shard和计算节点,存储节点默认隐藏,点击+号可以展开查看,如图70,图71所示。
图70
1、可以点击不同集群前面的 redio 按钮对不同集群进行切换,如图72所示。
图72
2、点击集群中各个节点图标可以进入对该节点进行监控。
存储节点监控。如图73,图74所示。
图73
图74
计算节点监控,如图75,图76所示。 图75
图76
2.1.2 集群备份列表
集群备份列表主要展示备份集群的列表信息。什么时候备份,备份了哪个集群等相关列表。主要用来方便查看备份数据。比如,我在集群列表中成功备份了 test 集群(如图77所示),那么我再进到集群备份列表中可以看到刚刚备份的集群信息(如图78所示)。
图77
图78
2.1.3 备份存储目标管理
备份存储目标管理是对备份集群做准备工作的,因为备份集群时,得有备份的存储目标才能成功备份。目前目标类型只有一种,为 HDFS。 新增备份存储目标 在页面中点击新增按钮,输入目标名称;选择目标类型,目前只有一种类型,HDFS,后续会增加;输入IP地址和端口号,点击确认即可新增备份存储目标,点击确认后,接口同步返回。如图79,图80所示
图79
图80
编辑备份存储目标
编辑操作是对已经存在的存储目标进行更新操作,编辑时名称不可编辑,其他均可编辑。如图81,图82所示。
图81
图82
删除备份存储目标
通过输入目标名称搜索相应的数据,点击右边的删除按钮即可对该存储目标进行删除。如图83,图84所示 注):删除操作将永久删除,请谨慎操作。
图83
图84
2.2 操作记录
操作记录主要是用来查看调用后台接口的执行情况。如果状态 going 是正在执行话没执行完成;如果状态是 done 表明执行完成,并且执行成功了;如果状态是 failed 表示执行失败了。如图85所示。
点击蓝色任务ID按钮,还可以查看具体新增集群的详情,如图86所示。
图85
图86
2.3 集群免切设置
根据业务需求可能需要进行免切设置,在 XPanel 中具体操作如图87,图88、89所示。 图87
图88
图89
删除免切设置,如图90,图91所示。
图90
图91
2.4 cluster_mgr 状态
可以查看 cluster_mgr 主是哪个,然后当连接的 cluster_mgr 是哪个,共有多少个 cluster_mgr 节点。具体如图92所示。 图92
2.5 元数据集群管理
元数据集群管理中,元数据节点列表可以查看当前元数据节点的信息。如图93所示。 图93