吉林农信稽核管理系统二期——混搭架构、海量数据

2020-09-01 10:19 admin
项目背景

吉林农信稽核管理系统二期主要为非现场审计系统,系统实现了与一期稽核管理系统的数据共享,并且在数据管理架构中引入了MPP数据库,极大地提高了数据平台的性能及数据管理容量,达到了同业领先、智能友好、灵活高效、信息全面、安全可靠的设计目标。

 

吉林农信稽核管理系统囊括了吉林省信用社全部的业务和管理系统数据,不仅在源系统上获得基础信息数据,而且还需要对基础信息数据进行筛选、抽取、转换、整合。同时提供综合分析、多维分析的应用,为其他业务管理提供数据支撑,为实现全面风险管理奠定基础。


需求分析

吉林农信稽核管理系统要求为稽核人员提供灵活的自助分析环境,可供现场稽核方便使用,实现现场稽核与非现场稽核之间的数据共享;提供非现场报表稽核功能;为其他部门提供数据分析平台;

 

其数据平台要求保存5+1年的数据量,预计共需要存储24TB数据量,目前的数据量为2TB,需要满足40人同时在线,通过前台应用服务器访问系统表数据库和业务表数据库,响应时间在10s内;模型跑批可以通过前台调度器控制并发数,预计大概30个左右的并发,对业务数据库进行查询、关联操作。


解决方案
 

稽核管理系统数据平台采用GBase 8a MPP Cluster与原有DB2共同搭建,其中GBase 8a MPP Cluster数据库管理业务数据表,用于海量数据查询和关联。集群共有8个节点,每2个节点组成安全组;DB2数据库用于存储系统表,用于应用系统的事务型操作,采用虚拟化环境。

 

稽核管理系统数据来源为上游数据仓库,数据仓库ODS层每日推送数据给非现场审计系统;非现场审计系统的疑点库和被审计机构等模块数据被现场审计系统实时访问接收;现场审计系统的审计机构数据、问题状态、整改状态等数据被非现场审计系统实时访问接收;非现场审计系统通过短信平台接口发送请求;非现场审计系统需对疑点数据进行查证,调用影像影响平台接口发送请求。

 

image.png

 

价值体现
 

l  混搭架构:GBase 8a MPP Cluster与DB2混搭使用,各自发挥所长,达到平台性能最大化;

 

l  海量数据管理:GBase 8a MPP Cluster极大的扩充了数据平台的数据管理能力,使系统管理数据量扩充到百TB级别;

 

l  标准接口:支持标准接口(JDBC/ODBC/C API/ADO.NET等),方便外部系统直接调用数据。