XX农村信用社联合社大数据平台及应用

XX省农村信用社联合社大数据平台及应用

2019年8月

第 1 章项目概述 .......................................................................................- 1 -

1.1项目背景........................................................................................- 1 -

1.2项目建设目标................................................................................- 1 -

1.2.1总体目标 ................................................................................- 1 -

1.2.2具体目标 ................................................................................- 1 -第 2 章技术方案 .......................................................................................- 2 -

2.1系统建设原则................................................................................- 2 -

2.1.1先进性 ....................................................................................- 2 -

2.1.2安全稳定性 ............................................................................- 2 -

2.1.3易维护性 ................................................................................- 2 -

2.1.4可扩展性 ................................................................................- 3 -

2.1.5经济性 ....................................................................................- 3 -

2.1.6实用性 ....................................................................................- 3 -

2.1.7规范性 ....................................................................................- 3 -

2.1.8时效性 ....................................................................................- 3 -

2.2新增行内数据接入及加工............................................................- 4 -

2.2.1需求描述 ................................................................................- 4 -

2.2.2建设目标 ................................................................................- 4 -

2.2.3解决方案 ................................................................................- 4 -

2.3优化精准营销系统........................................................................- 6 -

2.3.1需求描述 ................................................................................- 6 -

2.3.2建设目标 ................................................................................- 6 -

2.3.3解决方案 ................................................................................- 6 -

2.4外部数据采集系统..................................................................... - 17 -

2.4.1需求描述 ............................................................................. - 17 -

2.4.2建设目标 ............................................................................. - 17 -

2.4.3解决方案 ............................................................................. - 17 -2.5优化客户画像系统..................................................................... - 21 -

2.5.1需求描述 ............................................................................. - 21 -

2.5.2建设目标 ............................................................................. - 21 -

2.5.3解决方案 ............................................................................. - 21 -2.6大数据线上贷款平台................................................................. - 24 -

2.6.1需求描述 ............................................................................. - 24 -

2.6.2建设目标 ............................................................................. - 24 -

2.6.3解决方案 ............................................................................. - 24 -2.7新增历史数据查询接口............................................................. - 28 -

2.7.1需求描述 ............................................................................. - 28 -

2.7.2建设目标 ............................................................................. - 28 -

2.7.3解决方案 ............................................................................. - 28 -2.8统一调度平台调度任务迁移..................................................... - 32 -

2.8.1需求描述 ............................................................................. - 32 -

2.8.2建设目标 ............................................................................. - 32 -

2.8.3解决方案 ............................................................................. - 32 -2.9安全设计..................................................................................... - 37 -

2.9.1需求描述 ............................................................................. - 37 -

2.9.2解决方案 ............................................................................. - 37 -2.10维护设计..................................................................................... - 42 -

2.10.2解决方案 ............................................................................. - 42 -2.11高性能设计................................................................................. - 45 -

2.11.1高效的数据批处理 ............................................................. - 45 -

2.11.2高效的交易处理 ................................................................. - 45 -

2.11.3性能设计目标 ..................................................................... - 45 -

2.11.4性能保证 ............................................................................. - 46 -

2.11.5设计优化 ............................................................................. - 47 -

2.11.6业务连续性 ......................................................................... - 48 -2.12高可用性设计............................................................................. - 49 -

2.12.1健康检查下的任务接管 ..................................................... - 49 -

2.12.2集群部署负载均衡 ............................................................. - 49 -

2.12.3H ADOOP组件集群部署 ..................................................... - 49 -

2.12.4数据库的高可用 ................................................................. - 49 -

2.12.5容错性设计 ......................................................................... - 50 -2.13高可扩展性设计......................................................................... - 51 -

2.1

3.1应对业务动态发展的技术策略 ......................................... - 51 -

2.1

3.2J2EE的应用扩展策略......................................................... - 51 -

2.1

3.3基于批量总控的性能扩展 ................................................. - 52 -

2.1

3.4数据库集群扩展策略 ......................................................... - 52 -

2.1

3.5H ADOOP集群扩展策略 ..................................................... - 52 -2.14可维护性设计............................................................................. - 53 -

2.14.2维护设计 ............................................................................. - 53 -

2.15可管理性设计............................................................................. - 55 -

2.15.1联机交易的监控和管理 ..................................................... - 55 -

2.15.2灵活的数据清理策略................................................... - 55 -

2.15.3滚动升级保障业务连续............................................... - 55 -

2.15.4基于批量总控的任务编排 ................................................. - 55 -

2.16层次化设计................................................................................. - 56 -

2.17组件化设计................................................................................. - 57 -

2.18数据处理设计............................................................................. - 58 -

2.18.1数据处理整体架构设计 ..................................................... - 58 -

2.18.2数据接口设计 ..................................................................... - 58 -

2.18.3数据处理流程设计 ............................................................. - 59 -

2.18.4关键环节设计 ..................................................................... - 60 -

2.19接口设计..................................................................................... - 64 -

2.19.1渠道接口 ............................................................................. - 64 -

2.19.2实时接口 ............................................................................. - 64 -

2.19.3批量导入接口 ..................................................................... - 64 -

2.19.4数据卸载接口 ..................................................................... - 64 -第 3 章项目实施方案 ............................................................................ - 65 -

3.1项目组织形式............................................................................. - 65 -

3.1.1项目组织架构 ..................................................................... - 65 -

3.1.2组织职责定义 ..................................................................... - 65 -