摘要:在当今这个日新月异的时代,科技的浪潮以前所未有的速度席卷全球,驱动着社会各领域的深刻变革。企业信息化建设作为这场变革中的核心引擎,正以前所未有的广度和深度向前推进,逐步构建起一套完善且高度体系化的信息管理体系。随着大数据、云计算、人工智能等前沿技术的不断成熟与
在当今这个日新月异的时代,科技的浪潮以前所未有的速度席卷全球,驱动着社会各领域的深刻变革。企业信息化建设作为这场变革中的核心引擎,正以前所未有的广度和深度向前推进,逐步构建起一套完善且高度体系化的信息管理体系。随着大数据、云计算、人工智能等前沿技术的不断成熟与融合应用,数据作为新的生产要素和核心资产,其价值日益凸显,成为推动企业转型升级、增强核心竞争力的关键力量。
在这样的数据时代背景下,企业愈发重视数据的力量,力求实现“用数据说话”的精细化管理。通过深入挖掘和分析海量数据背后的规律与洞察,企业能够精准地把握市场动态、消费者需求及业务运营状况,进而有针对性地提升渠道转化率,优化产品设计与服务体验,实现运营策略的精准制定与执行。更重要的是,这一过程促进了企业决策模式的根本性转变,即由经验驱动向数据驱动的转变,确保决策的科学性、合理性和前瞻性,为企业长远发展奠定坚实基础。
本次配置主要在业务场景下将DAP对流程中的定时功能的说明和配置,达到页面组件实时调用的效果。这一过程不仅是对数据分析平台的应用,更是对企业数字化转型成果的一次集中展示,有助于企业更好地理解数据价值,激发数据潜能,为企业数据分析体系的建立与完善提供有力支撑。
在数通联软件家族产品中,DAP数据分析平台是一款专门用于企业大数据平台构建的产品,它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现,能够有效地帮助企业清晰地分析优劣势,消除各个系统数据相互独立的“孤岛”现象,内置的数据分析可以帮助企业调整策略,加快企业的信息化发展与整体竞争力。
1.产品介绍
数通所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。
数通产品体系如下图:
DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性。
2.产品功能
数据分析平台功能有:
1.数据来源(应用系统分组、应用系统定义、数据源头配置、ODS数据定义)。
2.数仓模型(业务主题、参考配置、维度配置、事实配置、模型配置)。
3.数据调度(调度任务、调度资源、日志管理)。
4.分析模型(数据集配置、立方体配置、指标集配置、业务类报表、多维度分析、数据表单配置)。
5.算法模型(算法原型、算法开发、算法调用、算法日志)。
6.展现配置(导航管理、组件管理、展现主题、装饰管理)。
7.数据服务(接收服务、查询服务、统计服务、算法服务、指标服务、业务服务)。
8.资产目录(资源查看、资产查看、统计分析、变更日志)。
9.质量安全(标准管理、质量管理、安全管理)
10.系统管理(资源管理、权限管理、授权管理、系统日志)。
3.整体流程
本次的配置展现整体流程如下:
1.业务场景:介绍本次配置的过程场景和所需条件,介绍客户需求——从接口中获取实时数据,将实时数据调配到页面上进行展现
2.数仓搭建:说明从源头到数仓搭建过程,包括同步、加工、汇总流程,搭建完成的流程设置定时调用功能进行调用
3.定时设计:使用数据集和组件配置页面组件展现,配置组件联动用以实现联动效果,演示实时联动效果。
说明需要配置的业务场景,按照客户需求——根据给出的进水接口数据,对数据内容进行实时的调用展现操作,设置定时操作调用接口,将数据存入对应的表中,配置分析模型,使用组件中的筛选条件配置页面,达到实时展示当前小时数据的效果。
1.场景说明
本次配置的业务场景需求如下:
1.业务需求:根据进水接口数据,设计表,设计流程,设计展现字段,配置一个按照小时实时更新的进水表格和页面组件实例。
2.创建数据表:进水表(WATERIN)、进水基础事实表(FACB_WATERIN)、进水汇总事实表(FACS_WATERIN)
3.创建数仓模型:进水表模型(MODEL_WATERIN_FORM)
4.创建分析模型:进水报表数据集(WaterinFormDataSet)、进水报表指标集(waterinQuota)
5.使用的页面展现组件:单指标卡片组件,基础折线图组件
2.所需数据
在本次需要处理的相关字段信息如下:
3.过程说明
说明整体的过程如下:
1.表格搭建:从ODS表,到基础事实表,汇总事实表的整个表的创建过程。
2.流程搭建:对从源头接口调用到ODS表(同步流程),从ODS表到基础事实表(加工流程),从基础事实表到汇总事实表(加工流程)三个流程的设计和配置说明。
3.模型搭建:创建数仓模型,生成调度任务。
4.定时设置:说明业务场景中设置定时的功能架构,说明本次定时配置过程。
5.分析模型:选择配置的模型,创建基础事实表和汇总事实表
6.页面配置:使用基础事实表和汇总事实表作为源头,配置组件模板配置组件实例,配置筛选时间变量,展现实时调用的效果。
数仓搭建在前面的业务场景中,我们主要对整个业务场景,包括与数据字段结构和配置流程进行了说明,下面介绍整个数仓搭建过程,包括库表的设计和搭建、流程的搭建、模型的搭建。
1.表格搭建
整个ODS表、基础事实表、汇总事实表配置过程如下:
1.ODS表:通过数据来源/ODS数据定义参考表创建编辑基本信息,导入字段。
2.基础事实表创建:通过数仓模型/事实配置中创建基础事实表,配置基本信息,导入字段,创建表,生成对应的表到数据库中。
3.汇总事实表创建:通过数仓模型/事实配置中创建汇总事实表,配置基本信息,导入字段,创建表,生成对应的表到数据库中。
2.流程搭建
配置完表格,要往对应的表格插入数据,数据的插入通过在esb设计器中创建对应的流程进行设计和逐级插入相应的数据。
整个配置过程如下:
1.同步流程:设计的同步流程主要是从接口中获取数据插入到对应的ods表中。
手动调用流程测试效果如下:
2.加工流程:设计的加工流程主要是把ODS中一个或者多个表的数据(也可以使用维表,根据实际业务设计配置)进行加工放入基础事实表中。
手动调用流程测试效果如下:
3.汇总流程:设计的加工流程主要是把一个或者多个基础事实表(也可以使用维表,根据实际业务设计配置)中的数据进行对应字段的计算、加工和汇总操作后放入汇总事实表中。
手动调用流程测试效果如下:
3.模型搭建
配置完表和对应的流程之后,通过创建模型,将上述调用的流程作为一系列的资源调度设计成一个模型:
整个配置过程如下:
1.模型创建:创建模型,选择对应的表,根据需要配置关联关系。
2.生成调度任务:在模型编辑页面点击生成任务,生成对应的调度任务。
该调度任务对应的前后置调度资源如图:
3.手动调用测试:手动执行测试调度资源,效果如图:
定时设计上面我们配置了整个数仓表到流程到调度资源和调度任务的搭建,但是目前的流程只是静态的,只能手动去同步数据,下面进行定时调用的配置,最后配置分析模型,拓展时间自动,页面组件实例中设置实时调用筛选,从而实现数据的实时展现。
1.定时配置
实现原理:数据的定时调用操作主要是通过两个位置的定时调用配置来实现的。首先是同步流程,根据设置的时间,将数据导入到ODS表中。然后是模型生成的数据调度定时,根据设置的间隔时间限制,来定时调用前置资源和后置资源。下面说明本次配置的定时过程。
1.同步流程定时:在同步流程中进行反创建,根据业务要求,选择合适的时间频率,设置定时时间,支持间隔调用、定时调用和自定义时间调用,这里设置成每隔一小时调用,设置后保存启动定时流程。
2.调度任务定时:在调度任务中进行反创建,勾选定时触发类型,根据业务要求,选择合适的时间频率,设置定时时间,支持间隔调用、定时调用和自定义时间调用,这里设置成每隔一小时零两分钟调用(避免冲突),设置后保存启动定时流程。
调用效果可以在对应的流程调用日志中查看到:
1.同步资源调用日志:
2.汇总资源的调用日志根据业务的不同可以通过转换日志和汇总日志查看:
2.分析模型
配置完成定时调用后,通过分析模型拓展字段来配置定时所需的筛选字段,过程如下:
1.数据集配置:选择对应的模型,创建数据集,使用SQL函数拓展时间字段,用于页面展现的筛选字段,保存。
2.指标集配置:选择对应的数据集,配置指标集和指标实例,保存。
3.页面配置
配置完分析模型后,下面配置页面和实时刷新筛选操作,过程如下:
1.组件创建:在页面上拖动组件,配置需要展现的字段信息,配置组件实例:
2.数据过滤配置:配置时间的实时更新筛选操作,设置成每天的每个小时进行筛选。
3.页面效果如下:通过调度任务设置定时,将每天的每个小时数据插入到模型中,最后在页面按照每天的每个小时通过筛选来实现实时调用。
本次主要配置主要以一个真实的污水处理进水业务流程设计,创建对应的库表,设计同步和汇总数据定时调用流程,来确保数据实时更新,通过页面设计实时筛选条件来实现对数据的实时调用和实时展现,下面对这种配置进行归纳总结。
1.模式归纳
在业务场景配置中,在流程中进行定时调用处理可以极大地提升系统的自动化和智能化水平。定时调用可以用于定期汇总和更新报表数据,确保决策者获取到的是最新、最准确的信息,加已页面组件展现,达到实时更新的效果。通过合理配置定时调用,企业能够优化业务流程,提高工作效率,同时减少人工操作的错误率和成本,增强整体业务运营的稳定性和可靠性。
综上所述,这种方法结合了多种技术的优势,为业务流程配置提供了高效、灵活且易于维护的解决方案。增强了用户的操作体验,也便于业务人员的配置。
2.注意事项
1.自定义时间设置:自定义时间设置参考corn表达式,下面给出几个常用样例配置:
2.筛选条件时间newDate设置参考:
3.设置流程调用时注意配置间隔时间,防止不同调度任务同时调用一个流程。
3.后续规划
本次主要按照业务场景对DAP中流程定时调用功能进行说明,通过业务上的配置和组件展现达到实时数据展现的效果,充分展现了数据分析平台的高度定制化与灵活性、数据驱动决策的能力、提升工作效率与精准度的优势,以及促进团队协作与知识共享、支持持续迭代与优化的特点。这些优点共同构筑了数据分析平台的核心竞争力。
后续我们规划进一步挖掘数据分析平台的潜力,深化其在企业运营中的应用。我们将致力于优化平台体验,简化流程,使数据分析更加直观易懂。同时,加强平台的智能化水平,引入更先进的组件、算法和模型,提升数据分析的精度与深度,通过页面更好的展现数据分析的亮点。通过这些后续规划的实施,我们期待数据分析平台能够持续为企业提供强大的数据支持,助力企业在激烈的市场竞争中保持领先地位,稳健迈向数字化转型与智能化升级的新征程。
本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~
来源:数通畅联