XPanel 集群管理

Klustron大约 12 分钟

XPanel 集群管理

01 系统概述

XPanel 是 Klustron（原KunlunBase）用户管理 Klustron 数据库集群，监控集群节点状态的 GUI，包含所有的集群管理功能和集群状态监控的功能界面。

02 集群管理功能介绍

2.1 集群管理

集群管理模块是该系统的重点功能之一，主要包含集群列表信息、集群展示和异常集群列表三大块。

集群列表信息页面主要对整体集群进行操作，包括：创建、删除集群、添加删除 shard、添加删除计算/存储节点、全量物理备份和恢复（回档）、逻辑备份和恢复、online DDL 和 repartition，集群扩缩容、存储集群主备切换，重做备机，设置和获取实例变量，节点监控等功能；

集群展示页面主要展示的是单个集群的部署图信息，针对单个集群的操作；异常集群列表，展示的是异常的集群信息。

2.1.1 集群列表

2.1.1.1 集群列表信息

集群列表信息页面可以新增集群，全量备份，回档集群，集群扩容，删除集群，添加/删除 shard，添加/删除节点，主备切换，重做备机,设置延迟告警时间，设置和获取实例变量，节点监控等功能模块。

新增集群

新增集群，点击新增按钮，填入信息后点击确认即可新增集群如图1，图2所示。新增集群的选择计算机是非必填项，分为存储类型的计算机和计算类型的计算机。注意：如果整个 cluster_mgr 还没添加任何类型的计算机，是无法新增集群操作的。

图1

图2

新增集群成功后，如图3所示。其中选择计算机，高可用模式，shard 个数，副本数，集群名称，缓冲池大小这几项为必填项，其余为可选项，点击更多按钮可以填入可选项信息，如图4，图5所示。

图3

图4

图5

选择计算机，这里的计算机是从计算机管理中添加成功的计算机，如果发现选择计算机这里为空或者还没有自己想要选择的计算机，可先到计算机管理中添加计算机后再来新增集群。
高可用模式，如果 cluster_mgr 为社区版：mgr，如果 cluster_mgr 为企业版：rbr。
Shard 个数，默认为 1，可修改。
副本数，默认为 3。
业务名称，用户输入，必填项。

全量备份

全量备份是对现有集群通过某种备份存储目标进行备份。备份后可以到集群备份列表中查到相关数据备份文件。

1、进行全量备份的前提，系统要存在备份存储目标，如果备份存储目标记录为空，则不允许备份，具体新增备份存储目标，在 cluster_mgr 的时候会配置好，安装完 cluster_mgr 后会自动上报备份存储目标，前往备份存储目标管理可以看到相关记录。发起全量备份具体步骤，如图6所示。

图6

2、已经添加好备份存储目标后，点击发起全量备份按钮后，会显示 backup cluster working。如图7所示。

图7

3、到全量备份记录中查看刚刚才的备份任务是否成功，done 表示成功，failed 表示失败。如图8所示。还可以到集群备份列表中查看刚刚 2022-09-29 14:26:34 这个时间备份完成的数据信息。如图9所示。

图8

图9

回档集群

回档集群，在所选的集群中恢复出一个新集群，新集群和原集群一样，点击恢复集群。

回档集群，是新集群对原已备份的集群回档到某个备份时间点的数据。注）：

回档集群需要存在两个集群以上才能发起回档操作。
回档后，新集群的数据将被原集群的备份数据所覆盖，页面会有提示，请谨慎操作。

1、对已存在数据备份的集群进行集群回档操作。如果当前时间之前都没有备份过该集群，没办法进行集群回档操作。会回档失败。如图10所示。

图10

2、已存在数据备份文件时，点击回档按钮，会弹出页面，选择原集群名称，回档时间，确认保存即可进行恢复集群操作。图11所示。注）：原集群名称和回档时间必填项，回档时间：回档时间不能早于最早备份时间，不能晚于当前时间。

图11

3、填好信息后，点击确认即可恢复出一个新集群，如图12、图13所示。

图12

图13

集群扩容

集群扩容,是在某个 shard 负载过大时，迁表到新 shard 以减轻此负载，来达到扩容的目的。

集群扩容前提是某个集群中至少含有两个 shard，并且集群的计算节点中存在表，才能进行集群扩容操作。

集群扩容包含手动选表扩容和自动选表扩容两种方式。

手动选表扩容，具体操作，如下图所示。14~18所示。

图14

图15

图16

图17

图18

自动选表扩容，具体操作，如下图19~22所示。

图19

图20

图21

图22

删除集群

删除集群，在集群列表信息页面中，点击设置，进到单集群管理页面中进行集群删除操作。如图23，图24，图25，图26所示，删除集群成功后，如图27所示。

注）：删除集群操作后，数据永久丢失，请谨慎操作。

图23

图24

图25

图26

图27

添加 shard

下面是对 vito 集群，添加 shard，如下图28~32所示。添加 shard 成功后，如图35-4，35-5所示。shard 列表可以查看 shard 下的 ip、端口、主备节点，节点状态等信息。

图28

图29

图30

图31

图32

删除 shard

删除 shard，集群列表 —> 集群列表信息 —> 选择 vito 集群右边的设置 —> shard 列表—>选择 shard_2 的删除按钮，点击删除操作，即可删除 shard。如图33~35所示。

图33

图34

图35

添加节点

添加节点，包含添加计算节点和添加存储节点。

添加计算节点，如图36~40所示。

图36

图37

图38

图39

图40

添加存储节点，如图41~45所示。

图41

图42

图43

图44

图45

删除节点

删除节点，包含删除计算节点和删除存储节点。

删除存储节点，如图46~49所示。

图46

图47

图48

图49

删除计算节点，如图50~53所示。

图50

图51

图52

图53

主备切换

主备切换，主要针对集群 shard 下的节点进行主备切换，主备切换分为手动进行主备切换和自动触发主备切换。XPanel 的主备切换为手动触发主备切换。具体操作，如图54~57所示。注）：备机节点为非必填，如果不选，后台会自动帮选备机节点进行随机切换。

图54

图55

图56

图57

重做备机节点

重做备机节点，当某个备机节点出现异常时，需要重做备机节点。重做备机字段包含选择 shard 名称，需重做的备机节点，是否从主节点上拉数据，主备延迟，是否备份，备份存储目标，限速等参数。

注）：

需重做的备机节点，此选项必填，可以多选，一次性可以重做多个备机节点；
如果是否从主节点上拉数据，如果选择是，则不需要输入主备延迟时间；否则，默认的主备延迟时间是 30s，必填，可修改；
如果是否备份，选择是，则备份存储目标不能为空，是否备份默认值为否；
默认限速为 10KB/s，可修改。

具体操作，如图58~60所示。

图58

图59

图60

设置延迟告警时间

延迟告警时间默认为 100s，如果不设置，默认超过 100 会在集群列表中显示异常告警。如果设置告警时间，就按照最新的告警时间来，超过设置值会出现列表异常告警。

具体设置操作，如图61、62所示。设置成功后，在选择响应的shard，最大延迟时间会是最新设置的那个时间。

图61

图62

设置和获取实例变量

设置实例变量，选择 shard 下的存储节点进行设置，变量类型有 int 和 string 型，输入变量名和变量值保存即可。如图63、64所示。设置成功后如图63-64所示。

图63

图64

获取实例变量

获取实例变量，选择集群下的 shard 中的节点，输入变量名即可获取实例变量值。如图65所示。图65

节点监控

节点监控只要是对存储节点和计算节点进行节点监控，显示节点的连接基本信息。如果是首次登录，需要输入账户名密码，账户名密码均为 admin。

存储节点的节点监控。如图图66、67所示。

图66

图67

存储节点的节点监控。如图68、69所示。

图68

图69

2.1.1.2 集群展示

集群展示主要展示单个集群部署图，展示的是单个集群所包含的shard和计算节点，存储节点默认隐藏，点击+号可以展开查看，如图70，图71所示。

图70

1、可以点击不同集群前面的 redio 按钮对不同集群进行切换，如图72所示。

图72

2、点击集群中各个节点图标可以进入对该节点进行监控。

存储节点监控。如图73，图74所示。

图73

图74

计算节点监控，如图75，图76所示。图75

图76

2.1.2 集群备份列表

集群备份列表主要展示备份集群的列表信息。什么时候备份，备份了哪个集群等相关列表。主要用来方便查看备份数据。比如，我在集群列表中成功备份了 test 集群（如图77所示），那么我再进到集群备份列表中可以看到刚刚备份的集群信息（如图78所示）。

图77

图78

2.1.3 备份存储目标管理

备份存储目标管理是对备份集群做准备工作的，因为备份集群时，得有备份的存储目标才能成功备份。目前目标类型只有一种，为 HDFS。新增备份存储目标在页面中点击新增按钮，输入目标名称；选择目标类型，目前只有一种类型，HDFS，后续会增加；输入IP地址和端口号，点击确认即可新增备份存储目标，点击确认后，接口同步返回。如图79，图80所示

图79