福建农信数据仓库升级项目¬——高性能、高可用、高扩展
福建农信数据仓库已构建企业级批量数据总线，解决了信息分散、数据质量信息未披露、数据复杂模型等问题，进一步梳理数据服务架构，为管理类应用系统与业务系统之间复杂的数据交互方式解耦，以提升管理类应用系统的分析和模型处理时效。但为了进一步提升数据处理容量，提高批量数据处理效率，增强数据库横向扩展能力，需引入大规模并行处理数据库，以便于为银行大数据转型奠定数据分析基础。
需求分析
目前福建农信数据仓库的裸数据总量已经达到50TB，传统的Oracle共享存储数据库在数据处理、架构扩展性等方面的瓶颈已逐渐显露。为了满足数据仓库业务发展需求，强化数据仓库数据资源整合能力、提升数据处理分析能力、提高数据服务质量及时效性，应对未来深度数据处理分析及大数据分析应用的需求，需要引入新型的MPP数据库软件产品，以提供更全面、更深入、更及时的数据服务。本项目建设旨在实现以下业务目标：
l 提升数据存储容量：引入MPP数据库后，将可承载最高为1PB的数据容量；
l 提高数据处理能力：全面提高数据仓库生产环境的数据处理效能，有效缩短仓库跑批时间；
l 提升数据库扩展性：可根据实际数据量的大小，实现节点的伸缩，处理能力应随着节点的增加呈线性增长。
解决方案
福建农信原有数据仓库系统由Oracle数据库搭建。新数据仓库系统采用GBase 8a MPP Cluster建设，系统采用10台PC Server搭建数据仓库集群，包括5个安全组，每个安全组2个节点。系统部署2台加载机保证数据加载性能。原有Oracle系统搭建客户服务、风险管理等数据集市。
数据仓库集群管理裸数据已经达到50TB，日增量数据是30GB。在此数据量下，实现了高速批量数据加载、数据加工、数据查询等应用，每日数据加工跑批时间在15分钟左右。
价值体现
l 性能优越性：GBase 8a MPP Cluster及其解决方案具有良好的ETL性能，数据加载、数据导出、数据处理等的效率为传统Oracle数据库的5倍以上；
l 高可用性：GBase 8a MPP Cluster保证7×24小时系统稳定运行，确保无单点故障风险；
l 线性扩展：GBase 8a MPP Cluster在PB级数据量下，性能可以随着节点数的增加而线性增长。