供水/废水系统的无线网络升级，为美国Waterford镇的公共工程部（DPW），带来了监控和数据采集（SCADA）系统的升级、云功能、网络安全和物理安全的改善、以及来自仪器的更多信息以及其它好处。
Waterford 镇建立于1834年，位于美国密歇根州奥克兰县的中部，有72000多名居民。该镇拥有360英里的供水干线和355英里的污水管道，水资源管理是一项不小的任务。DPW负责运营和维护19口水井、3个储罐、11个处理厂和63个污水提升站。
为了运行这些系统，多年前他们投资集成了核心应用，包括地理信息系统（GIS）、资产管理系统（AMS）、企业内容管理（ECM）和SCADA系统。
图1: DPW的传统基础设施依赖于RTU和RF发射机网络，与办公室的SCADA工作站进行通信。图片来源：Opto 22
升级的时机和网络的选择
2017年，DPW公共工程总监Russell Williams和工程总监Frank Fisher开始着手启动升级其核心SCADA基础设施的项目。过去，他们使用串行轮询程序，利用远程遥测单元（RTU）网络，从其多个站点请求更新，这些RTU通过许可的射频（RF）发射器进行通信。他们开始利用较新的远程输入/输出（I/O）和工业蜂窝调制解调器取代这些设备，通过专用Verizon网络进行通信。
然而，在第二年，他们参加了一个关于边缘控制器的会议，并对引入MQTT Sparkplug后，具有消除系统性限制的潜力而感到兴奋。
由于在整个网络上有90多个控制器，并且使用的是轮询机制，再加上无线网络的带宽有限，这就意味着每个站点的数据只能每3到5分钟更新一次。有时，提升站会在轮询周期之间短暂运行，从而造成数据的缺口，这就限制了运行人员检测问题的能力，直到出现报警为止。他们在系统中每增加一个I/O点，这种延迟就会恶化。
异常时才发布报告
很明显，MQTT可以减少带宽使用，并确保执行重要任务的系统动作。这是因为，与循环轮询相反，MQTT遵循严格的异常时才发布报告的规则。当且仅当监控值发生变化时，现场设备和其它MQTT网络客户端才自行发送数据，而不是等待中央服务器（在MQTT术语中称为代理）的指令。
在不依赖中央程序轮询的情况下，他们还看到了消除系统瓶颈和潜在故障点的可能性。Williams说：“我们有很多提升站，大部分时间它们什么都不做，那么为什么要一直传输数据呢？”
图2:提升站控制面板的比较，展示了旧RTU布局以及基于Opto 22 GroovEPIC控制器和DIGI调制解调器的新布局。
将概念验证升级到生产
为了帮助实现他们的愿景， DPW聘请了Perceptive Controls公司，它是一家专门从事供水/废水、食品和饮料以及石油和天然气行业的工业和过程控制应用的系统集成商。
Perceptive Controls的软件工程师Kevin Finkler表示，第一次构建MQTT系统会伴随着学习曲线。“这是我第一次实施非严格意义上的客户端服务器。主题系统和订阅特定主题的方式截然不同。”
发布订阅与轮询网络的5种不同方式
MQTT的发布订阅通信模型，在以下几个关键方面，与传统工业协议通信有明显的不同：
1、现场设备连接源自设备，而非代理。
2、每个现场设备仅连接到代理，而不管数据需要去哪里。
3、使用Sparkplug有效终端时，每个设备在建立到代理的连接时，发布（发送）其可用数据项（称为主题）的列表。
4、其它MQTT客户端也可以连接到代理，查看可用主题，然后订阅（请求）现场设备的主题更新。
5、当现场设备发布更新时，代理将该更新转发给所有订阅客户端。
Waterford面临的第一个挑战，是将这种新的通信模型集成到现有的SCADA系统中。他们的系统只是缺乏使用MQTT协议的能力，所以他们尝试一些较新的系统，并选择了一个提供紧密集成MQTT的系统，包括作为MQTT代理本身的能力。
尽管在刚开始时，理解MQTT通信模型需要费些功夫，但一旦拥有了合适的工具，建立通信就很简单了。Finkler说：“某种程度上，这是自动发生的。定义几个基本参数，就可以设置代理。每个边缘控制器都非常简单。您只需将其指向代理，它就会开始发送变量参数。”
图3: DPW的现代化基础设施，通过Verizon 4G LTE蜂窝网络，将数据从Opto 22 GroovEPIC控制器，发布到云端托管的Ignition SCADA和MQTT代理。
构建纵深防御网络安全
当Fisher为构建新的SCADA基础设施进行考察时，他尝试在亚马逊云计算服务（AWS）上托管MQTT代理。由于蜂窝网络已经在建设中，这似乎是一个利用云计算来提高容错性和可扩展性的好机会。
在成功测试了这个概念之后，Fisher决定将SCADA系统直接部署在AWS上，他和Finkler开始构建保护新基础设施的机制。
首先，将AWS上的防火墙配置为仅接受来自Waterford和Perceptive办公室的边缘控制器和特定SCADA客户端的访问。蜂窝调制解调器上的防火墙，也配置为只接受受信任的IP。
然后，在每个边缘控制器上安装了客户端SSL证书，以便使SCADA可以对连接进行身份验证和加密，防止中间人攻击，避免数据暴露或未经授权的控制。
每个授权用户都需要创建强密码，才能访问系统中的任何边缘控制器或SCADA客户端。此外，在整个系统中跟踪和报告每个用户的登录。
图4:Waterford提升站新的控制屏幕。提升站安全面板显示在左侧中间部分。
他们甚至将物理站点安全集成到新的SCADA中。每个提升站都有一个带锁和钥匙的外门，门上的物理开关连接到就地边缘控制器。SCADA监控开关状态，以检测何时有人进入。如果在特定时间内，未注册具有特定房间访问权限的用户登录，SCADA将生成全局警报。
图5:Waterford的新基础设施，将数据更新速度从几分钟提高到不到一秒钟。
联网污水处理项目的好处
在所有63个污水提升站和6个清洁用水站完成升级后，新的面向边缘的基础设施，将现场更新周期从几分钟减少至不到1秒，而且是由事件驱动发布。Waterford水务部门再也不会错过系统动作或报警通知，运行人员可以通过支持蜂窝通信的平板电脑随时随地保持连接。
由于MQTT基于异常行为报告，再加上每个边缘控制器中的模拟I/O具有死区，新的基础架构减少了带宽消耗，使用户能够发布比以前更多的数据。他们可以访问通信和控制器诊断（例如更新延迟、连接时间戳、消息大小和固件版本），在旧系统中这是不可能的。
此外，基于云的基础设施，还具有更大的灵活性和可靠性。系统集成商可以以无线方式执行控制器更新，从而减少差旅时间，并允许他们在整个新冠疫情期间有增无减地继续开发项目。如果在连接到位于俄亥俄州的心SCADA服务器的数据中心时出现问题，Fisher可以在30分钟内，将系统安装到不同的数据中心并运行。而且他还能够设置完全冗余的服务器。
最近，公共工程部办公室的互联网发生故障，对新系统进行了意外测试，实践证明该系统是可靠的。
“我们的内部客户无法联系到我们，但我们的iPad可以通过Verizon进行连接。在这种情况下，因为旧系统依赖于本地连接，无法发出报警。新系统对此则根本不受影响，因为它没有运行任何本地连接。” Fisher说。
图6：Waterford DPW的控制屏幕，提供了运营概述。
获取更多来自现场的数据
Waterford将继续通过其老旧SCADA系统管理几个站点直至2022年底，届时预计他们将完成所有剩余系统的升级改造。
随着带宽的大幅增加、MQTT Sparkplug的低管理开销，以及提供现场备用数据处理的边缘控制器，Waterford可以在很长一段时间内继续扩展其系统。他们在添加每个新设备或应用时，只需要连接到MQTT代理，即可为整个系统生成或使用数据。
“我们仍在努力探索，还能做些什么。我们有许多其它仪器，希望能够从现场提取数据，而在以前这并不切实可行……不仅在我们的提升站和水处理厂，而且在整个组织中。”Fisher说：“我们要思考在哪里可以将MQTT与流量计结合使用？在哪些方面可以在所有资产中使用它，以便更好地了解工况？我们才刚刚开始这一旅程。”（作者：Josh Eastburn，Opto 22）