ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过提取(extract)、转换(transform)、加载(load)至目的端的过程。提取、转换、加载软件(ETL软件),也就是常说的数据处理软件,可以帮助改善运营技术(OT)应用程序的数据收集。面对海量数据,制造企业需要解决数据集成的主要挑战。
大多数人都熟悉工业4.0、智能制造和工业物联网(IIoT),这些术语的兴起反映出运营技术(OT)的巨大变化,其中涉及到了大量的基础技术,包括云、大数据、智能传感器、单板固态计算机、无线网络、分析软件、应用程序开发平台和移动设备等。
虽然其中一些技术不是最新技术,但是由于最近成本的下降和易用性的提高,增加了其使用率。这些技术与诸如控制系统和制造执行系统(MES)之类的传统OT技术相结合,通过提供更多数据以及利用该数据的工具,帮助改制造企业的运营和业务功能。
许多类似的技术,最初都是为信息技术(IT)部门开发的,旨在与其它业务领域进行交互。鉴于海量的制造数据和改进运营的需求,IT正在评估和采用这些工具的可能性。希望利用工业数据的运营团队,在数据集成方面面临着挑战,这增加了部署此类系统所需的工作量。IT行业通过创建提取、转换、加载(ETL)软件来解决这些数据集成难题,将业务系统集成到分析系统中。
ETL可以从其它系统和数据库(如客户关系管理(CRM)和企业资源计划(ERP)系统中提取数据,并将数据合并到数据存储中,然后通过清理、调整和规范化数据进行转换。
为什么之前很少使用ETL解决方案来处理工业数据?原因是工厂中来自控制系统的工业数据,与来自业务系统的交易数据所面临的挑战不一样。对于制造企业而言,了解ETL解决方案中的每个细节,以最大限度地发挥潜在数据优势至关重要。
运营数据并没有全部存储在数据库中以待提取使用。它可以从工厂中的可编程逻辑控制器、机器控制器、监控和数据采集(SCADA)系统和时间序列数据库中实时获得。运营数据必须从数百个设备和系统中收集数据,而不是从少数大型数据库中提取数据。
交易处理系统可以存储每笔交易的完整记录,但是在工厂中,并不是所有的过程数据都被保存为“交易”。大规模的离散制造商,无法存储离线的每个组件的完整数据集。
运营数据的转换
对运营数据的转换,比IT数据转换需要考虑更多的因素。
运营数据存储通常定期进行。存储的数据可以是实际值,例如生产数量,也可以是根据原始数据获得的统计数据,例如每秒检查但每小时记录一次的平均、最小和最大温度值。PLC数据点通常具有一个地址或名称以及一个值。数据点仅提供以过程或控件为中心的数据视图。没有描述、度量单位、操作范围或其它描述性信息。
由于工业数据主要用于控制环境之外的机器维护、过程优化、质量和可追溯性,因此带来了一定的挑战性。在这种情况下,必须对数据进行分析和调整,以对机器进行维护,对过程进行流程优化,对产品进行质量和追溯。所需的数据必须相关联,有时必须转换为可用格式。
典型的工厂所拥有的机器具有不同的数据。对于分析,必须对数据点进行标准化、规范化,并且在某些情况下使用部件指标来进行计算。分析数据通常不如控制数据那么关键。企业使用低成本传感器收集数据以进行非关键分析。传感器可能会发生故障或漂移。带有外部数据验证的冗余传感器,可以帮助实现良好的数据存储。
工业数据的提取和转换,必须在接近生产机器处完成。这样数据就可以被就地边缘分析所使用,并发送到就地数据中心或云端。采用边缘计算还是云计算主要取决于哪个效率更高。制造企业必须简化数据集成,以实现工业4.0、智能制造和IIoT的预期价值。