跳至主要內容

Klustron-1.3 技术规范

Klustron大约 5 分钟

Klustron-1.3 技术规范

亮点功能

  • Sharding & Partitioning

  • Fullsync & Fullsync HA

  • Fault Tolerance & Auto Failover & Zero down time

  • Elastic Scale-out

  • Parallel Query Execution

  • MySQL and PostgreSQL client protocols and SQL compatibility

  • SQL-2016 compatibility

  • OLAP using Latest User Data

  • Physical & Logical Backup & Restore

  • Data Export/Import & Parallel CDC

  • Online DDL & Repartitioning

  • Cluster Management API

  • XPanel

  • JSON data management and indexing

  • Distributed database for

    • PostGIS
    • PGVector
    • PostgresML

Klustron 用于存储、管理和利用海量数据,实现高性能事务处理和数据读写;支持自动不停服水平弹性伸缩;节点和网络故障时可以保持服务持续,数据不丢不乱;兼容各类应用软件和 Web 系统。

  • 坚不可摧:可以自动应对集群环境故障 – 一个 Klustron集群的任何节点发生故障或者网络故障,或者机房整体故障,都不会丢失或者损坏用户数据,也不会影响业务系统正常运行。
  • 弹性伸缩:支持不停服的水平弹性伸缩,且不会对业务系统和逻辑以及终端用户体验造成任何影响;并均衡地利用所有服务器的计算和存储资源并且提供持续稳定的高性能低延时 OLTP 数据访问能力。
  • 海纳百川:在业内同时支持 MySQL 和 PostgreSQL 数据库的连接协议和 SQL 语法,兼容所有常用编程语言的应用软件,相应的数据迁移工作可以一键完成。
  • 极致性能:Klustron 的 OLTP 性能大幅领先于竞品,确保在 PB 级别数据,数千连接,数十万 QPS 仍然可以提供高吞吐率低延时的事务处理性能。详见性能测试报告。
  • 数据安全:Klustron 支持全量数据加密存储,日志加密存储,全链路加密传输;支持多层级细粒度的访问控制,以便 DBA可以在数据库系统内定义访问控制规则,确保用户数据不会被越权访问
Kluston-1.3 技术规范
开放的架构
· 兼容PostgreSQL&MySQL 连接协议和常用SQL语法
· 支持Innodb & RocksDB存储引擎
· 数据变更流式并行导出(CDC)服务,中断后可以续传,故障自动恢复
· 计算节点支持挂载第三方功能扩展插件:外部数据源(FDW),存储过程编程语言(python/perl/java/lua),PostGIS,PGVector


兼容 MySQL
· Text和Binary协议
· MySQL所有DML语法和常用DDL语法
· Prepared Statement
· MySQL变量读写语法
· AUTO_INCREMENT语法和功能
· 切换AutoCommit模式
· 事务中语句错误处理 -- 客户端决定
· 事务隐式启动和隐式提交
· 常用 SHOW 命令集合
· 支持MySQL和PostgreSQL词法规则
遵从 SQL-2016 标准
· Standard SQL
· 子查询, 表连接
· 视图,物化视图
· 触发器
· Prepared Statement
· 存储过程
· 用户自定义函数
· Window 函数 和 CTEs
· GROUPING SETS,CUBE,ROLLUP
· 高级数据管理功能
· Domain, Check
· Row level security(RLS)
· 支持常见字符集(Unicode,GBK)
· 完整的i18n和l10n支持

查询优化器
· Cost-based Optimizer
· 查询重写
· 分区裁剪
· Column Projection
· 谓词下推,聚合算子下推,排序算子下推,Join下推
· Distinct和Limit下推
· 多层级并行查询优化
· 统计信息收集、汇总和利用

高可用
· FullSync HA
· 元数据RBR HA
· 全局事务容灾
· 存储主节点故障自动切换
· 数据零丢失
· 同城/异地双活
· 同城/异地多机房高可用

备份和恢复
· 导出 Apache Parquet文件
· 集群热备份
· 全量物理备份,增量日志备份
· 逻辑备份库/模式/表
· 逻辑恢复库/模式/表
· 物理恢复到指定时间点
· 物理恢复到指定的事务ID
· 脚本化的命令行工具
· 备份到HDFS, 公有云对象存储(OSS, S3),以及挂载的文件系统
· 数据变更流式导出(CDC)
· 数据批量导入导出和迁移工具

应用接口
· 常见语言PostgreSQL connectors
· 常见语言MySQL connectors
· JDBC,ODBC

安全
· 多层级多粒度的数据访问控制
· 数据库角色管理
· 多种鉴权方式
· 密码管理
· 数据文件和binlog文件加密存储
· 备份文件加密存储

高性能
· 读写分离
· 资源隔离
· 数万并发连接,百万QPS
· B+树索引2
· 集群状态监控,诊断和SQL跟踪
· 计算/存储节点水平扩展

OLTP 负载和事务支持
· ACID 事务支持
· 增删改支持行级锁
· 只读查询多版本并发控制
· 分布式事务处理
· 支持多种事务隔离级别:读已提交,可重复读,串行化
· 自动全局和局部死锁检测 ·
全局多版本并发控制(Global MVCC)
· InnoDB引擎和RocksDB引擎


OLAP 负载优化
· 用户自定义聚集函数
· (OLAP)分析型函数支持


数据分片
· 支持三种分片方式- Hash, Range, List
· 镜像表(复制表)
· Table Groups

XPanel 图形化集群管理配置 GUI
· 集群创建/删除
· 集群物理备份/回档
· 集群逻辑备份/回档
· 增加/删除计算节点
· 增加/删除存储节点/Shard
· 存储节点主备切换
· 元数据集群管理
· 告警机制
· 节点运行状态监控
· 集群扩缩容
· Online DDL & repartition
· 集群日志ES收集和Kibana检索
· CDC配置
· 集群多活配置
· 多机房高可用配置
· 私有部署的多租户模式
· 多语言和国际化

备注:

1 不支持外键。

2 不支持 Hash 索引。虽然支持创建Hash索引的语法,但是底层创建的是 B+ 树索引。

END