中国银行江苏分行大数据平台——业务创新、高效服务、回报社会

2020-09-01 10:13 admin
项目背景

中国银行股份有限公司江苏省分行在大数据形势下,主动进行业务创新,率先搭建基于MPP关系型数据库支撑海量数据存储、分析、统计的大数据平台。MPP数据库产品应用于营销分析平台,通过大数据分析进行精准营销,实现高效服务客户,服务社会,同时增加营业收入。

需求分析

l  功能强大:支持数据迁移、数据加工、数据查询、应用连接的大集成;

 

l  高性能:对数据加载、数据导入导出、数据加工、数据拆分、查询等要求快速响应;

 

l  高可用:7*24小时持续运行和避免单点故障或系统维护造成停机;

 

l  工具接口:可以实现性能、存储空间使用状态、CPU使用状态、内存使用状态、SQL性能等方面的监控;支持SQL92标准,符合国际规范标准的ODBC、JDBC、ADO.NET接口及本地化C API接口。


解决方案
 

本项目搭建2×3节点规模集群,采用GBase 8a MPP Cluster大规模分布式并行数据库集群系统构建数据平台的核心数据管理层,形成全量数据的统一基础数据平台。目前的数据量是14TB,每天的增量是20GB数据,共1300多张表,最大表为47亿行数据,每天跑批4-5个小时。结合业务场景,配置1台加载机,6个计算节点。

 

image.png

 

价值体现
 

l  数据整合:GBase 8a MPP Cluster集群数据库在海量存储和大规模并行计算的突出优势,实现海量数据的存储管理,通过高效的数据整合加工能力,提供一致可靠的数据视图;

 

l  即席查询:GBase 8a MPP Cluster集群数据库在海量数据下的高效即席查询能力,实现交易明细数据的逐笔、快速即席查询;

 

l  标准化:支持SQL92标准,符合国际规范标准的ODBC、JDBC、ADO.NET接口及本地化C API接口;

 

l  高线性扩展能力:GBase 8a MPP Cluster具有在线高扩展能力,保障数据平台后续接入更多的业务系统及更高层次的复杂分析以及战略决策需求。