破解流程行业数智化转型困局 生产数据中台建设全解析(上)

360影视 动漫周边 2025-04-21 14:32 2

摘要:2024年底,工业和信息化部、国务院国有资产监督管理委员会、中华全国工商业联合会印发《制造业企业数字化转型实施指南》。其中针对流程行业企业,指南提出推动生产过程智能转型,引导企业开展生产全过程的透明化管理,鼓励部署基于工业互联网平台的订单管理、设备管理、质量管

政策驱动下的转型浪潮

2024年底,工业和信息化部、国务院国有资产监督管理委员会、中华全国工商业联合会印发《制造业企业数字化转型实施指南》。其中针对流程行业企业,指南提出推动生产过程智能转型,引导企业开展生产全过程的透明化管理,鼓励部署基于工业互联网平台的订单管理、设备管理、质量管理等轻量化工业APP,提升生产过程的数字化管控能力,引导流程工业企业部署先进控制系统(APC)、实时优化控制系统(RTO),推广基于数字孪生的生产决策管控应用。

值得关注的是,无论是设备管理、质量管控还是生产决策类应用,均依赖于IT/OT数据的深度融合与系统性治理。在此背景下,数据中台作为工业互联网平台的核心组成部分,已成为企业数字化转型的必要支撑组件

一、典型流程行业企业在数据整合治理上的需求

我们具体来看一个典型的流程行业企业在数据整合治理方面的需求

以某大型化工企业为例,在新园区建设智能化工厂时,围绕 “生产集成管控、生产一体化优化、全生命周期资产管理” 三条业务主线展开:要求梳理智能化工厂数据架构和流程,确保智慧健康工厂业务数据的标准化、完整及准确,涵盖标准化主数据和 14 个业务主题域数据。在应用层,企业的智能化工厂业务包含:智慧驾驶舱、安全生产管控中心、工艺管理中心、环保管理中心、设备管理中心、电仪管理中心、能源管理中心、应急指挥中心、优化控制中心、质量管理中心、效益中心、市场中心、员工管理中心、绩效评价中心、大数据中心。企业需要数据平台能融合现有系统数据,对数据进行标准化、质量提升并通过数据服务完整提供出来,以支撑好智能化工厂所有业务中心的应用。

该企业虽已有较好的信息化系统基础,如数字仓储、物流平台、ERP等核心业务系统,依托于智能化系统的建设会同步引入数字化交付系统和视频AI平台,另外企业也已经有自己的标准化主数据库,涵盖组织架构、人员、设备、班组、装置、管线等的主数据。这些系统的数据作为企业数据平台的原料,通过数据平台的融合治理,为智能化应用提供完整、准确、高效的数据支撑。

在具体的技术指标要求上有以下具体要求:

1)具备多租户能力,通过租户管控体系构建一个从应用/服务提供商到应用用户的可持续的开放生态系统;

2)在数据集成方面,利用工业互联网平台的数据中台构建能力,通过工业物联网平台,实现对现场实时数据的感知和接入;通过数据湖,实现企业内部数据的异构融合,清洗,为工业 APP 提供数据即服务能力。具备异构系统的多元数据接入,为上层工业 APP 系统提供统一的数据源, 消除传统方式下的数据孤岛,实现数据即服务;

3)提供企业全信息集成平台,旨在实现企业的 DCS分散控制系统、仪表管理系统、在线分析仪管理系统、动设备状态监测系统、腐蚀监测系统、工业视频、监控系统、门禁一卡通系统等弱电系统的数据集成和融合。支持OPC DA、OPC A&E、OPC UA、Modbus、CDT、IEC104 等工业协议数据转换和接入,支持SQL/ODBC、WebService、WebAPI 等接口方式实现数据采集和处理,支持RTSP协议数据采集和处理。

特别是,对创新应用的支持能力

建立集中统一的数字化工厂综合应用展示平台,结合数字化交付成果实现生产经营数据的统一抽取、加工和展示,满足企业的多层次业务和管理人员的业务查询、统计和分析需要,对企业生产经营决策及问题迅速响应提供数据支持。

01、实现工程建设阶段数字化交付二三维模型及数据集成;

02、融入分散控制系统(DCS)的实时/历史数据,实现数字化工厂与分散控制系统DCS的集成;

03、二三维可视化数字工厂:将虚拟三维工厂、二维DCS操作画面和实体工厂相结合,可以实现内操和外操的紧密融合,快速便捷获取并展示数字化工厂设计信息,生产运营实时信息、市场运营信息、安全管控信息、环保管控信息、供应链及物流信息(业务中心信息)等,提升工厂操作与巡检的安全性和智能化。

类似的需求广泛存在与流程行业如化工和能源企业,我们通过这个典型的需求来看一下流程行业数字化转型的痛点和解决之道。

二、流程行业数字化转型的数据“痛点”

综合起来看,核心“痛点”挑战有如下几点:

1、痛点:数据分散

在流程行业企业里,数据分散问题突出。生产数据与各类系统数据,如数字化交付系统、ERP、DCS等,分散于不同系统之中。各系统数据格式、存储方式和接口各异,相互独立,难以互联互通。这使得企业无法获取全面、统一的数据视图,数据价值难以充分挖掘。例如,生产部门获取的设备运行数据无法与质量部门的检测数据实时关联,导致生产决策缺乏全面依据,影响生产效率和产品质量。

为解决数据分散难题,需构建强大的数据集成平台。运用ETL工具和数据网关,实现多源数据的高效采集与接入,支持各类主流数据库、文件系统和实时数据接口。通过数据融合技术,清洗、转换和整合分散数据,消除数据格式差异,构建统一的数据模型,打破数据孤岛,为企业提供集中、一致的数据资源,助力企业基于完整数据进行科学决策。

2、痛点:数据质量不高

流程行业数据质量问题显著,数据准确性、完整性、一致性和及时性难以保障。数据标准缺失或不统一,导致数据定义模糊,各部门理解和使用存在偏差。数据质量问题影响数据分析结果的可靠性,阻碍数据驱动的决策制定。例如,不准确的生产数据会使质量分析出现偏差,无法精准定位质量问题根源,延误产品质量改进。

全面的数据治理至关重要。建立完善的数据标准体系,规范数据定义、格式和编码规则,确保数据在企业内的一致性理解与使用。运用数据质量监控工具,实时监测数据质量指标,及时发现和修复异常数据。借助数据血缘技术,追溯数据来源与处理过程,保障数据的准确性和可追溯性,提升数据质量,为企业决策提供可靠依据。

3、痛点:数据分享难

流程行业企业内部和外部的数据分享面临诸多阻碍。内部不同部门间数据共享存在壁垒,外部与供应商、合作伙伴的数据交互也困难重重。数据安全和合规要求严格,传统数据分享方式难以满足需求,导致数据流通不畅,限制企业协同创新能力。例如,企业与供应商共享生产需求数据时,因数据格式和安全担忧,数据传递滞后,影响供应链协同效率。

通过数据服务API可实现数据的合规分享。搭建统一的数据服务平台,封装数据为标准化 API 接口,提供安全认证和授权机制,确保数据访问和使用合规。利用 API 网关对数据流量进行监控和管理,保障数据安全。企业内部和外部用户通过 API 便捷获取所需数据,促进数据在安全框架内的高效流通,增强企业协同创新能力。

4、痛点:应用构建需要大量指标的支持

流程行业应用构建对指标需求庞大,但指标体系往往不完善。指标定义不清晰、计算方法不一致,导致应用构建缺乏坚实数据基础,无法精准反映业务状况,影响应用的有效性和实用性。例如,在能源管理应用中,由于能耗指标计算不统一,难以准确评估能源利用效率,无法为节能措施制定提供准确数据支持。

构建完善的指标体系是关键。明确各类业务指标定义、计算方法和数据来源,建立指标库进行统一管理。运用大数据和人工智能技术,挖掘潜在指标,优化指标计算逻辑。通过指标体系为应用构建提供有力支撑,使应用更精准反映业务状况,为企业运营管理提供科学依据。

三、数据平台建设及实施是数据“痛点”的解决之道

基于上述的痛点需求,行业通用的解决方案是构建智慧工厂的数据中台,基于数据中台提供的数据融合、数据治理及数据服务的提供能力,为智慧工厂的应用提供统一的数据底座,为上层应用提供完整、准确、有性能保障的数据支撑能力。基于数据底座企业IT/OT的数据可以沉淀成数据资产、数据服务,逐步积累价值数据,也有助于提升企业的整体数据的数据成熟度。

数据平台的能力总体上可分为三层,分别是数据集成层、数据治理层数据服务层。通过这三层能力对流程企业的数据进行集成融合、数据治理通过数据服务为应用提供数据支撑。

数据集成层:打破信息孤岛的关键

1、多源数据接入能力

数据接入是对外部数据接入数据中台的连接路径的定义,实现对平台之外的业务系统的数据库接入并对其集中统一管理。数据源需要支持支持主流数据库典型的如:SAP HANA、Oracle、MySQL、PostgresSQL、麦杰实时库、IOTDB等;同时支持流式数据:Kafka、RESTful API接入。

■ API集成能力

需要提供外部API接口集成能力,通过向导式配置信息实现将外部数据集成到平台中。

■ 整库迁移能力

需要提供迁移整个外部数据源的数据库的能力,以向导方式进行配置源和目标数据源以及勾选将要迁移的数据库表,进而实现一次性将源数据库的数据迁移到目标数据库中。

■ 数据查询验证能力

针对已经连接的数据库,需要支持以SQL方式进行查询,方便数据用户或实施人员查询、核对、验证数据。

2、数据融合能力

数据融合,旨将数据资产按照规则进行清洗、过滤、转换、加工、同步等操作,通过对数据预处理来满足业务在数据集成、数据质量、数据服务方面的用数要求。

数据中台需具备数据开发能力,能提供数据融合任务的向导式开发、融合任务的监控。数据中台需支持离线批处理能力。

可以通过画布的方式实现在线任务的开发,支持mysql、postgressql、oracle、IOTDB、openPlant、FTP等数据源,通过标准组件或者SQL组件方式实现数据的融合处理。

数据中台需支持实时流处理,可通过画布方式实现在线任务开发,支持kafka流式数据,通过标准组件或者SQL组件方式实现数据的融合处理。

数据融合任务需支持在线的资源配置、任务调度的配置,支持融合任务监控等功能。

3、元数据能力

元数据管理提供数据发现、数据血缘、数据质量、可观察性、治理和团队协作的功能。它基于开放元数据标准与API,支持多种数据服务的连接器,实现端到端元数据管理。元数据定义元数据的核心抽象和词汇,包括类型、实体及关系,支持自定义属性的实体和类型的可扩展性。元数据存储连接数据资产、用户和工具生成的元数据的元数据图。

该功能标准化测试和数据质量元数据,允许将相关测试分组为测试模版,支持自定义SQL数据质量测试;提供交互式仪表板,以便用户可以深入了解数据质量详细信息。

元数据管理支持丰富的表/列级血缘,有效过滤查询以提取表/列级血缘信息。可以自动采集数据融合、数据服务、指标管理的数据血缘,同时根据需要手动编辑谱系,并使用无代码编辑器连接实体,增强数据血缘的准确性。

支持连接多种数据服务:支持连接到各种数据库、仪表板、管道和消息传递服务的55个连接器。自动化数据发现:连接器能够自动化发现和同步元数据,减少手动输入错误,提高数据管理效率。

提供标准化业务术语:允许添加受控词汇来描述组织内的重要概念和术语,提高数据一致性和理解。术语表管理:用户可以添加词汇表、术语、标签、描述和审阅者,以标准化组织内的数据语言。

同时元数据也提供数据血缘分析能力。数据血缘通过表/列级数据血缘,提供数据流向的详细视图,帮助用户理解数据的来源和去向。用户可以通过UI交互式地查看和编辑数据血缘图谱,提高数据血缘管理的灵活性和准确性。

元数据管理的数据血缘功能支持表、管道任务、仪表板图表等多种数据资产类型,实现全面的数据关联。支持管道任务与任意两个实体类型之间的血源关系,扩展了数据血缘的覆盖范围。

通过数据血缘分析,快速定位数据问题源头,提高数据治理效率。

利用数据血缘进行数据全链路的安全等级监测,确保数据安全合规。

下期预告:

在流程行业数字化转型的道路上,数据中台的建设至关重要。但数据中台的实施并非一帆风顺,存在诸多难点。

下一篇,我们将深入探讨数据治理层以及数据中台实施过程中的难点,解析数据服务层的创新应用场景和成功案例,敬请期待!

来源:寄云科技官方号

相关推荐