跳至主要內容

XPanel 集群管理

Klustron大约 12 分钟

XPanel 集群管理

01 系统概述

XPanel 是 Klustron(原KunlunBase) 用户管理 Klustron 数据库集群,监控集群节点状态的 GUI,包含所有的集群管理功能和集群状态监控的功能界面。

02 集群管理功能介绍

2.1 集群管理

集群管理模块是该系统的重点功能之一,主要包含集群列表信息、集群展示和异常集群列表三大块。

集群列表信息页面主要对整体集群进行操作,包括:创建、删除集群、添加删除 shard、添加删除计算/存储节点、全量物理备份和恢复(回档)、逻辑备份和恢复、online DDL 和 repartition,集群扩缩容、存储集群主备切换,重做备机,设置和获取实例变量,节点监控等功能;

集群展示页面主要展示的是单个集群的部署图信息,针对单个集群的操作;异常集群列表,展示的是异常的集群信息。

2.1.1 集群列表

2.1.1.1 集群列表信息

集群列表信息页面可以新增集群,全量备份,回档集群,集群扩容,删除集群,添加/删除 shard,添加/删除节点,主备切换,重做备机,设置延迟告警时间,设置和获取实例变量,节点监控等功能模块。

新增集群

新增集群,点击新增按钮,填入信息后点击确认即可新增集群如图1,图2所示。新增集群的选择计算机是非必填项,分为存储类型的计算机和计算类型的计算机。 注意:如果整个 cluster_mgr 还没添加任何类型的计算机,是无法新增集群操作的。

图1

图2

新增集群成功后,如图3所示。其中选择计算机,高可用模式,shard 个数,副本数,集群名称,缓冲池大小这几项为必填项,其余为可选项,点击更多按钮可以填入可选项信息,如图4,图5所示。

图3

图4

图5

  1. 选择计算机,这里的计算机是从计算机管理中添加成功的计算机,如果发现选择计算机这里为空或者还没有自己想要选择的计算机,可先到计算机管理中添加计算机后 再来新增集群。
  2. 高可用模式,如果 cluster_mgr 为社区版:mgr,如果 cluster_mgr 为企业版:rbr。
  3. Shard 个数,默认为 1,可修改。
  4. 副本数,默认为 3。
  5. 业务名称,用户输入,必填项。

全量备份

全量备份是对现有集群通过某种备份存储目标进行备份。备份后可以到集群备份列表中查到相关数据备份文件。

1、进行全量备份的前提,系统要存在备份存储目标,如果备份存储目标记录为空,则不允许备份,具体新增备份存储目标,在 cluster_mgr 的时候会配置好,安装完 cluster_mgr 后会自动上报备份存储目标,前往备份存储目标管理可以看到相关记录。发起全量备份具体步骤,如图6所示。

图6

2、已经添加好备份存储目标后,点击发起全量备份按钮后,会显示 backup cluster working。如图7所示。

图7

3、到全量备份记录中查看刚刚才的备份任务是否成功,done 表示成功,failed 表示失败。如图8所示。还可以到集群备份列表中查看刚刚 2022-09-29 14:26:34 这个时间备份完成的数据信息。如图9所示。

图8

图9

回档集群

回档集群,在所选的集群中恢复出一个新集群,新集群和原集群一样,点击恢复集群。

回档集群,是新集群对原已备份的集群回档到某个备份时间点的数据。 注):

  • 回档集群需要存在两个集群以上才能发起回档操作。
  • 回档后,新集群的数据将被原集群的备份数据所覆盖,页面会有提示,请谨慎操作。

1、对已存在数据备份的集群进行集群回档操作。如果当前时间之前都没有备份过该集群,没办法进行集群回档操作。会回档失败。如图10所示。

图10

2、已存在数据备份文件时,点击回档按钮,会弹出页面,选择原集群名称,回档时间,确认保存即可进行恢复集群操作。图11所示。 注):原集群名称和回档时间必填项,回档时间:回档时间不能早于最早备份时间,不能晚于当前时间。

图11

3、填好信息后,点击确认即可恢复出一个新集群,如图12、图13所示。

图12

图13

集群扩容

集群扩容,是在某个 shard 负载过大时,迁表到新 shard 以减轻此负载,来达到扩容的目的。

集群扩容前提是某个集群中至少含有两个 shard,并且集群的计算节点中存在表,才能进行集群扩容操作。

集群扩容包含手动选表扩容和自动选表扩容两种方式。

手动选表扩容,具体操作,如下图所示。14~18所示。

图14

图15

图16

图17

图18

自动选表扩容,具体操作,如下图19~22所示。

图19

图20

图21

图22

删除集群

删除集群,在集群列表信息页面中,点击设置,进到单集群管理页面中进行集群删除操作。如图23,图24,图25,图26所示,删除集群成功后,如图27所示。

注):删除集群操作后,数据永久丢失,请谨慎操作。

图23

图24

图25

图26

图27

添加 shard

下面是对 vito 集群,添加 shard,如下图28~32所示。添加 shard 成功后,如图35-4,35-5所示。shard 列表可以查看 shard 下的 ip、端口、主备节点,节点状态等信息。

图28

图29

图30

图31

图32

删除 shard

删除 shard,集群列表 —> 集群列表信息 —> 选择 vito 集群右边的设置 —> shard 列表—>选择 shard_2 的删除按钮,点击删除操作,即可删除 shard。如图33~35所示。

图33

图34

图35

添加节点

添加节点,包含添加计算节点和添加存储节点。

  1. 添加计算节点,如图36~40所示。

图36

图37

图38

图39

图40

  1. 添加存储节点,如图41~45所示。

图41

图42

图43

图44

图45

删除节点

删除节点,包含删除计算节点和删除存储节点。

  1. 删除存储节点,如图46~49所示。

图46

图47

图48

图49

  1. 删除计算节点,如图50~53所示。

图50

图51

图52

图53

主备切换

主备切换,主要针对集群 shard 下的节点进行主备切换,主备切换分为手动进行主备切换和自动触发主备切换。XPanel 的主备切换为手动触发主备切换。具体操作,如图54~57所示。 注):备机节点为非必填,如果不选,后台会自动帮选备机节点进行随机切换。

图54

图55

图56

图57

重做备机节点

重做备机节点,当某个备机节点出现异常时,需要重做备机节点。重做备机字段包含选择 shard 名称,需重做的备机节点,是否从主节点上拉数据,主备延迟,是否备份,备份存储目标,限速等参数。

注):

  1. 需重做的备机节点,此选项必填,可以多选,一次性可以重做多个备机节点;
  2. 如果是否从主节点上拉数据,如果选择是,则不需要输入主备延迟时间;否则,默认的主备延迟时间是 30s,必填,可修改;
  3. 如果是否备份,选择是,则备份存储目标不能为空,是否备份默认值为否;
  4. 默认限速为 10KB/s,可修改。

具体操作,如图58~60所示。

图58

图59

图60

设置延迟告警时间

延迟告警时间默认为 100s,如果不设置,默认超过 100 会在集群列表中显示异常告警。如果设置告警时间,就按照最新的告警时间来,超过设置值会出现列表异常告警。

具体设置操作,如图61、62所示。设置成功后,在选择响应的shard,最大延迟时间会是最新设置的那个时间。

图61

图62

设置和获取实例变量

设置实例变量,选择 shard 下的存储节点进行设置,变量类型有 int 和 string 型,输入变量名和变量值保存即可。如图63、64所示。设置成功后如图63-64所示。

图63

图64

获取实例变量

获取实例变量,选择集群下的 shard 中的节点,输入变量名即可获取实例变量值。如图65所示。 图65

节点监控

节点监控只要是对存储节点和计算节点进行节点监控,显示节点的连接基本信息。如果是首次登录,需要输入账户名密码,账户名密码均为 admin。

存储节点的节点监控。如图图66、67所示。

图66

图67

存储节点的节点监控。如图68、69所示。

图68

图69

2.1.1.2 集群展示

集群展示主要展示单个集群部署图,展示的是单个集群所包含的shard和计算节点,存储节点默认隐藏,点击+号可以展开查看,如图70,图71所示。

图70

1、可以点击不同集群前面的 redio 按钮对不同集群进行切换,如图72所示。

图72

2、点击集群中各个节点图标可以进入对该节点进行监控。

存储节点监控。如图73,图74所示。

图73

图74

计算节点监控,如图75,图76所示。 图75

图76

2.1.2 集群备份列表

集群备份列表主要展示备份集群的列表信息。什么时候备份,备份了哪个集群等相关列表。主要用来方便查看备份数据。比如,我在集群列表中成功备份了 test 集群(如图77所示),那么我再进到集群备份列表中可以看到刚刚备份的集群信息(如图78所示)。

图77

图78

2.1.3 备份存储目标管理

备份存储目标管理是对备份集群做准备工作的,因为备份集群时,得有备份的存储目标才能成功备份。目前目标类型只有一种,为 HDFS。 新增备份存储目标 在页面中点击新增按钮,输入目标名称;选择目标类型,目前只有一种类型,HDFS,后续会增加;输入IP地址和端口号,点击确认即可新增备份存储目标,点击确认后,接口同步返回。如图79,图80所示

图79

图80

编辑备份存储目标

编辑操作是对已经存在的存储目标进行更新操作,编辑时名称不可编辑,其他均可编辑。如图81,图82所示。

图81

图82

删除备份存储目标

通过输入目标名称搜索相应的数据,点击右边的删除按钮即可对该存储目标进行删除。如图83,图84所示 注):删除操作将永久删除,请谨慎操作。

图83

图84

2.2 操作记录

操作记录主要是用来查看调用后台接口的执行情况。如果状态 going 是正在执行话没执行完成;如果状态是 done 表明执行完成,并且执行成功了;如果状态是 failed 表示执行失败了。如图85所示。

点击蓝色任务ID按钮,还可以查看具体新增集群的详情,如图86所示。

图85

图86

2.3 集群免切设置

根据业务需求可能需要进行免切设置,在 XPanel 中具体操作如图87,图88、89所示。 图87 图88 图89

删除免切设置,如图90,图91所示。

图90 图91

2.4 cluster_mgr 状态

可以查看 cluster_mgr 主是哪个,然后当连接的 cluster_mgr 是哪个,共有多少个 cluster_mgr 节点。具体如图92所示。 图92

2.5 元数据集群管理

元数据集群管理中,元数据节点列表可以查看当前元数据节点的信息。如图93所示。 图93

END