Cedar系统的整体介绍
随着“互联网+”的发展和普及,零售、电信、交通、物流、金融等传统行业已与互联网服务高度耦合。它们大量采用互联网化的服务手段,除了将日常业务通过APP、公众号等方式面向互联网用户,还普遍结合了“团购”、“抢票”和“秒杀”等方法。传统的数据管理系统和事务处理系统架构不能够充分利用多核CPU、大容量内存、高速网络等硬件以及发展迅速的集群构建技术,无法有力支撑上述应用不断增长的需要。
Cedar是华东师范大学数据学院自2013年开始基于开源Oceanbase 0.4.2版本自主开发的一款通用分布式关系数据库系统。Cedar采用计算与存储分离的分布式架构(如图所示),将存储节点、查询计算节点、事务处理节点和管理节点解耦,支持存储与计算节点的弹性扩展、多集群异地部署、高可用、高通量事务处理,并能保证金融级关键应用的数据一致性。此外,Cedar兼容SQL-92标准与MySQL主要查询语法。Cedar其核心技术在交通银行、江苏移动、Infosys、珍岛集团等多个企业实现了验证与应用。
Cedar的发展历程介绍
数据学院的研究队伍自2013年开始面向金融、电信、零售等关键任务应用需要,研究支持可扩展事务处理的数据库系统架构与实现方法,设计实现了开源系统CEDAR(如图所示)。
基于开源的OceanBase 0.4.2,CEDAR 0.1版本丰富了大量的数据库功能,实现了三集群的高可用技术、二级索引、半连接查询等数据库核心功能;CEDAR 0.2版本实现了可扩展的事务提交,SI隔离级别,表锁的事务管理功能,并进一步优化了事务引擎;CEDAR 0.3版本实现了统计信息及查询优化器,哈希连接及部分并行执行,优化了查询执行。Cedar还提供了一键部署的统一测试框架。
在2013-2018的6年时间里,数据学院数据库团队与交通银行紧密合作,将Cedar的核心技术实施在交通银行分布式数据库CBASE中,并成功部署于交通银行的多个核心业务。
Cedar/CBase开源项目
CEDAR开源地址: https://github.com/daseECNU/Cedar; 联系邮箱:cedar.tp@gmail.com。
CBASE开源地址: https://github.com/BankOfCommunications/CBASE
联系人
周烜 张蓉 蔡鹏 胡卉芪 钱卫宁
代表性技术论文
Jinwei Guo, Peng Cai, Jiahao Wang, Weining Qian, Aoying Zhou. Adaptive Optimistic Concurrency Control for Heterogeneous Workloads, VLDB 2019
Donghui Wang, Peng Cai, Weining Qian, and Aoying Zhou. Fast Quorum-based Log Replication and Replay for Fast Databases, DASFAA 2019
Huiqi Hu, Xuan Zhou, Tao Zhu, Weining Qian, Aoying Zhou. In-memory transaction processing: efficiency and scalability considerations. Knowledge and Information Systems, 2019
Tao Zhu, Zhuoyue Zhao, Feifei Li, Weining Qian, Aoying Zhou, Dong Xie, Ryan Stutsman, HaiNing Li, Huiqi Hu. Solar: Towards a Shared-Everything Database on Distributed Log-Structured Storage. USENIX Annual Technical Conference 2018
Yuming Li, Rong Zhang, Xiaoyan Yang, Zhenjie Zhang, Aoying Zhou. Touchstone: Generating Enormous Query-Aware Test Databases. USENIX Annual Technical Conference 2018
Jiahao Wang, Peng Cai, Jinwei Guo, Weining Qian, Aoying Zhou. Range Optimistic Concurrency Control for a Composite OLTP and Bulk Processing Workload. ICDE 2018
Jinwei Guo, Peng Cai, Bingo Shaw, Weining Qian and Aoying Zhou. Efficient Snapshot Isolation in Paxos-Replicated Database Systems. DASFAA 2018
Huichao Duan, Huiqi Hu, Weining Qian, Haixin Ma, Xiaoling Wang, Aoying Zhou. Incremental Materialized View Maintenance on Distributed Log-Structured Merge-Tree. DASFAA 2018
Tao Zhu, Donghui Wang, Huiqi Hu, Weining Qian, Xiaoling Wang, Aoying Zhou. Interactive Transaction Processing for In-Memory Database System. DASFAA 2018
Xing Wei, Huiqi Hu, Huichao Duan, Weining Qian, Aoying Zhou. Parallel strategy for multiple scan operations with data replication. WWWJ 2018
Xuan Zhou, Xin Zhou, Zhengtai Yu, Kian-Lee Tan. Posterior Snapshot Isolation. ICDE 2017