技术应用 | 深化多元大数据应用,建设分行数据服务生态

360影视 欧美动漫 2025-06-03 08:53 4

摘要:为满足分行一线在业务精细化管理过程中对数据的迫切需求,光大银行利用总行数据成果挖掘数据价值,在保证数据使用安全合规前提下,以多元大数据技术体系为数据底座和算力平台,依托大数据和计算平台构建智能决策中枢,通过“总行提供基础数据、分行自主开发”的联合创新模式实现分

文/中国光大银行数据资产管理部 宋振宇 陈学豪 李东辉 严瑾

为满足分行一线在业务精细化管理过程中对数据的迫切需求,光大银行利用总行数据成果挖掘数据价值,在保证数据使用安全合规前提下,以多元大数据技术体系为数据底座和算力平台,依托大数据和计算平台构建智能决策中枢,通过“总行提供基础数据、分行自主开发”的联合创新模式实现分行经营决策、业务营销、管理评价等场景特色需求,将数据洞察转化为精准的商业价值,推动金融场景服务的智能化,助力分行在营销、风控等领域的高质量发展。

总行各系统作为银行相关业务的主数据存储系统,为分行数据服务体系提供准确可靠的数据源。通过建设分行数据开放平台,实现面向分行的统一数据集成与整合、处理与开发交付,从而形成高质量的数据供给链路,将总行数据资产以安全敏捷的形式持续向分行一线交付。

1. 分行数据集成与整合

分行数据开放平台依托总行数据基础平台,接入准实时T+0和离线T+1两种时效性数据,对贴源数据、主题数据、共性数据、外部数据、特征数据及各业务数据集市数据进行集成,形成面向分行的数据集中化、管理化平台,为分行提供统一的标准化数据接口。

2. 分行数据处理

分行数据开放平台采用“自建集群+复用平台”两种方式,通过MPP数据库集群和Hadoop技术生态为分行提供数据集成和整合服务,为分行提供多元化算力、多元化数据库产品的能力支撑。分行根据不同业务场景、数据格式选择相应的大数据处理环境进行标准化作业,通过总行统一数据处理环境和标准化数据接口对分行特色数据应用进行自主开发(见图)。

图 分行数据开放平台逻辑架构

分行数据开放平台内部依据数据仓库模型和分行数据权限管控要求,分为数据加载层、基础数据层、数据拆分层和分行集市层。其中,数据加载层用于形成总行数据源的数据接入缓冲,降低系统间耦合度;基础数据层是总行数据源的数据镜像,通过总行ETL调度任务和标准校验的方式保持与总行数据源高度一致性;数据拆分层用于数据访问权限控制,确保分行严格访问本分行辖内数据,通过技术管控防范数据违规泄露风险;分行集市层用于存储分行基于总行数据源进行特色业务开发形成的数据成果,是分行特色数据进行交付的数据源。

3. 分行数据应用开发

分行可通过总行提供的基础数据环境、报表开发和随机数据查询等工具,以“总行开放数据接口、分行从事业务开发”的作业模式进行数据智能应用建设。以某一级分行为例,该分行利用总行基础数据成果,上线分行自建手机银行数据分析系统,实现了对分行客户在手机银行中的行为数据进行全面直观、精准及时的可视化查询统计,在分行层面完成本分行手机银行用户的业务指标梳理开发。系统的客户分层模块数据已用于白名单筛选,应用于各类营销活动及智能外呼触达场景中,为业务部门在账户服务、投资理财、个人贷款、转账汇款、信用卡、支付、生活、出国金融等多样化场景的精准营销提供了数据支撑。

为满足分行对历史数据的查询、加工、分析和交付等活动,支持分行通过数据服务的方式交付统计报表、分析报告等数据成果,通过建设数据服务平台为全行用户提供数据服务流程管理、门户管理和知识管理的能力。

1. 数据服务标准统一化

数据服务平台系统采用SpringBoot技术框架,通过前后端分离部署和微服务的架构方式,通过内部原子服务能力整合和系统间服务水平聚合等多种形式,形成面向数据服务过程管理的相关功能。该系统由多个微服务构成,每个服务围绕特定的数据服务业务功能构建,通过总线通信机制交互。数据层由关系型数据库、内存数据库和K8S集群的对象存储组成,分别对业务需持久化的结构化数据、会话及热点数据和非结构化附件进行存储。

数据服务平台作为全行数据服务的统一接入渠道,持续夯实系统功能建设,有力保障了企业级数据服务规范落实及数据服务流程运行。一是制定数据服务登记信息标准,整合数据服务业务资源和技术资源,形成数据服务知识的生产、积累、传播和共享机制。二是建立“PC端+移动端”的双用户访问渠道,为全行用户提供数据服务需求流程服务,并通过集成即时通讯工具实现端到端的消息提醒,打造“一站式服务”的敏捷办公效果。

2. 数据服务交付安全化

国家金融监管总局于2024年12月27日发布了《银行保险机构数据安全管理办法》,要求银行保险机构应当严格实施对敏感级及以上数据的管理,制定用户对数据的访问策略,采取有效的用户认证和访问控制技术措施,规范数据操作行为,用户对数据的访问应当符合业务开展的必要要求并与数据安全级别相匹配。数据服务平台系统为敏感级及以上数据的提取提供了事前和事中的安全防护功能,严格控制敏感数据的访问范围。在事前,实现了需求敏感等级辅助判断功能,需求提出人通过勾选需求涉及的字段信息即可得出涉敏情况的初判结论。在事中,实现了实时内容安全鉴别,在交付成果物过程中即对数据文件进行内容识别,阻断疑似涉敏数据文件上传。通过数据安全防护功能,有效阻断敏感级及以上数据的异常访问风险,该功能还具备扩展性,可为后续接入其他数据安全类系统奠定技术基础,从而持续提升安全管控能力。

为凝聚合力、释放效能,总行、分行两级联合建设数据服务生态。依托“联合研发+联合运营”的新模式,总行把控总体建设方向,提供统一的技术架构和技术标准,分行根据当地业务特性和一线用户需求进行能够支撑分行业务开展的系统开发和知识分享,形成数据在总分行间高效流通、赋能分行业务流程的数据联合创新格局。

1. 总分两级联合研发模式

分行数据开放平台采用集中平台租户化管理模式,通过为分行数据服务人员开放数据接口(ETL依赖、Topic等)形成总分两级的创新研发管理模式和敏捷作业机制。各分行数据服务人员可基于数据接口专注于业务代码研发,平台底层技术细节对用户透明。在研发测试阶段,总行项目组、分行数据服务人员分别进行数据接口和数据应用的开发工作,实现总分协同研发测试;在变更投产阶段,分行数据服务人员将业务代码交由总行项目组进行统一验证、封版、投产,严格按照总行统一的技术标准执行。

2. 数据社区联合运营模式

企业级数据服务领域社区依托于数据服务平台,通过数据专业知识的内容管理,提升全行数据服务口径和指标规范性。数据服务社区已初步形成总、分行两级组织架构间的数据科学家、数据分析师、数据服务岗、社区运营岗等多岗位间的协同创新机制。数据服务社区按季度举办“分行数据产品力提升工程——分行分享会”,总行各相关项目组和各分行积极参与和分享多领域的数据成果,内容涵盖数据资产管理、数据中台能力、数据安全规范、数据应用建设、数据开发技巧等,实现“社区共享助力思维开阔,总分联创打造数据产品”的运营目标,助力分行的数据价值提升。

本文系统梳理了分行数据服务体系及应用效果,并展示了总分联创的数据运营模式。未来,分行数据服务体系建设将持续在系统建设和总分合作上发力,构建“总行统筹+分行赋能”的新质数据生产力体系。在系统建设上,坚持以开放数据为核心,推动一流的分行数据智能服务生态建设,形成数据共享的生态圈,提升分行“知数据、懂数据、用数据”的高质量数据管理水平。在总分合作上,总行与分行持续建立良好的合作机制,打通分行“用数最后一公里”,实现总分间、分行间的知识共享和需求共建,持续提升分行数字化能力。

来源:金融电子化

相关推荐