分布式事务处理数据库CEDAR

发布时间:2023-07-20浏览量:322

Cedar系统的整体介绍

随着“互联网+”的发展和普及,零售、电信、交通、物流、金融等传统行业已与互联网服务高度耦合。它们大量采用互联网化的服务手段,除了将日常业务通过APP、公众号等方式面向互联网用户,还普遍结合了“团购”、“抢票”和“秒杀”等方法。传统的数据管理系统和事务处理系统架构不能够充分利用多核CPU、大容量内存、高速网络等硬件以及发展迅速的集群构建技术,无法有力支撑上述应用不断增长的需要。

Cedar是华东师范大学数据学院自2013年开始基于开源Oceanbase 0.4.2版本自主开发的一款通用分布式关系数据库系统。Cedar采用计算与存储分离的分布式架构(如图所示),将存储节点、查询计算节点、事务处理节点和管理节点解耦,支持存储与计算节点的弹性扩展、多集群异地部署、高可用、高通量事务处理,并能保证金融级关键应用的数据一致性。此外,Cedar兼容SQL-92标准与MySQL主要查询语法。Cedar其核心技术在交通银行、江苏移动、Infosys、珍岛集团等多个企业实现了验证与应用。

cedar.jpg

Cedar的发展历程介绍

数据学院的研究队伍自2013年开始面向金融、电信、零售等关键任务应用需要,研究支持可扩展事务处理的数据库系统架构与实现方法,设计实现了开源系统CEDAR(如图所示)。

基于开源的OceanBase 0.4.2,CEDAR 0.1版本丰富了大量的数据库功能,实现了三集群的高可用技术、二级索引、半连接查询等数据库核心功能;CEDAR 0.2版本实现了可扩展的事务提交,SI隔离级别,表锁的事务管理功能,并进一步优化了事务引擎;CEDAR 0.3版本实现了统计信息及查询优化器,哈希连接及部分并行执行,优化了查询执行。Cedar还提供了一键部署的统一测试框架。

在2013-2018的6年时间里,数据学院数据库团队与交通银行紧密合作,将Cedar的核心技术实施在交通银行分布式数据库CBASE中,并成功部署于交通银行的多个核心业务。

cedarr.jpg

Cedar/CBase开源项目

CEDAR开源地址: https://github.com/daseECNU/Cedar; 联系邮箱:cedar.tp@gmail.com。

CBASE开源地址: https://github.com/BankOfCommunications/CBASE

联系人

周烜 张蓉 蔡鹏 胡卉芪 钱卫宁

代表性技术论文

  • Jinwei Guo, Peng Cai, Jiahao Wang, Weining Qian, Aoying Zhou. Adaptive Optimistic Concurrency Control for Heterogeneous Workloads, VLDB 2019

  • Donghui Wang, Peng Cai, Weining Qian, and Aoying Zhou. Fast Quorum-based Log Replication and Replay for Fast Databases, DASFAA 2019

  • Huiqi Hu, Xuan Zhou, Tao Zhu, Weining Qian, Aoying Zhou. In-memory transaction processing: efficiency and scalability considerations. Knowledge and Information Systems, 2019

  • Tao Zhu, Zhuoyue Zhao, Feifei Li, Weining Qian, Aoying Zhou, Dong Xie, Ryan Stutsman, HaiNing Li, Huiqi Hu. Solar: Towards a Shared-Everything Database on Distributed Log-Structured Storage. USENIX Annual Technical Conference 2018

  • Yuming Li, Rong Zhang, Xiaoyan Yang, Zhenjie Zhang, Aoying Zhou. Touchstone: Generating Enormous Query-Aware Test Databases. USENIX Annual Technical Conference 2018

  • Jiahao Wang, Peng Cai, Jinwei Guo, Weining Qian, Aoying Zhou. Range Optimistic Concurrency Control for a Composite OLTP and Bulk Processing Workload. ICDE 2018

  • Jinwei Guo, Peng Cai, Bingo Shaw, Weining Qian and Aoying Zhou. Efficient Snapshot Isolation in Paxos-Replicated Database Systems. DASFAA 2018

  • Huichao Duan, Huiqi Hu, Weining Qian, Haixin Ma, Xiaoling Wang, Aoying Zhou. Incremental Materialized View Maintenance on Distributed Log-Structured Merge-Tree. DASFAA  2018

  • Tao Zhu, Donghui Wang, Huiqi Hu, Weining Qian, Xiaoling Wang, Aoying Zhou. Interactive Transaction Processing for In-Memory Database System. DASFAA  2018

  • Xing Wei, Huiqi Hu, Huichao Duan, Weining Qian, Aoying Zhou. Parallel strategy for multiple scan operations with data replication. WWWJ 2018

  • Xuan Zhou, Xin Zhou, Zhengtai Yu, Kian-Lee Tan. Posterior Snapshot Isolation. ICDE 2017