农信银两地三中心灾备系统项目——跨省异地双活灾备
农信银资金清算中心有限责任公司(以下简称农信银)为全国30家农村合作金融机构及其数万个网点提供汇兑、银行汇票、个人账户通存通兑等业务的资金清算。农信银数据平台是基于GBase 8a MPP 数据库和Hadoop大数据技术搭建起数据存储和分析的数据管理平台。
GBase 8a MPP数据库主要承载结构化数据的统计、分析和中短期存储,Hadoop承担非结构化数据的统计、分析及全部数据的长期存储。随着业务量的高速增长以及后续新业务的不断扩展,系统承载的业务也越来越多,急需建设灾备系统以提高系统RTO和RPO的业务服务要求。
需求分析
农信银数据平台每天需要执行6个小时的批处理任务。用户非常频繁的使用日报、月报和年报的统计数据,因此,为了保证数据服务的连续性,统计结果数据需要同步到异地,具体需求概括如下:
容灾目标:跨省异地建设灾备系统,RTO< =2小时,RPO <=24小时;
主备系统双活:灾备系统和主系统能协同工作,避免不能充分利用软硬件资源,造成资源闲置,增加成本投入;
数据同步:能够以表为单位同步,判断每次同步表变化标记,实现数据增量同步;
解决方案
本项目按照现有GBase 8a MPP集群架构在跨省异地搭建一套同架构备集群,建设后主备分别承担部分不同的后台作业任务(数据加载和加工),在主备集群加工完数据之后,每天特定时间点将数据增量同步到异地双活的备集群当中。数据的同步过程基于GBase自主研发的Rsync数据同步工具实现。异地双活的主备两个数据库集群间以表为单元进行增量同步。发生灾备切换后,最差情况下RPO<=24小时,RTO<=12小时,最好情况下RPO分钟级,RTO=0。同时备集群可以分担主集群部分业务,降低主集群系统压力,提高整体系统对外服务能力。
价值体现
提升客户业务系统连续性:通过对数据统一的管理与治理,满足上层监管部门对上报监管数据的要求,保证数据的准确性、及时性,完整性;
主备系统双活,提升客户业务系统连续性:主备数据平台协同工作,分别承担工作任务,一方故障时另一方接管对方工作;
提升业务系统处理效率:转移部分业务到备集群,降低主集群负载压力,充分利用软硬件资源,避免造成资源闲置;
跨省异地灾备解决方案落地:首个MPP跨省异地灾备系统成功落地上线,形成一套完善的MPP跨省异地灾备解决方案,为MPP异地灾备在其它行业推广提供有效支撑;
- 上一篇:福建农信数据仓库项目——高性能、高可用、高扩展
- 下一篇:没有了