2024年10月18-19日,深圳中洲万豪酒店成功举办了2024 DAMA中国数据管理峰会。此次峰会以“数据要素赋能新质生产力”为主题,紧扣时代脉搏,汇聚各界智慧,深入探讨数据要素的价值路径与新质生产力的发展方向,并聚焦行业数据管理的最新进展和最佳实践。DAMA大中华区主席及“数据仓库之父”等国际顶尖专家参会,为与会者提供了独特的视角和深刻的见解。
同期,水务数据管理创新论坛专注于水务数据治理、价值挖掘和应用场景等热点议题,邀请了多位水务数据领域的专家分享他们的创新应用成果。论坛汇聚了来自上百家水务企业的专业人士,共同探讨数据管理的创新路径,推动行业的发展与进步。
01背景
从2003年起从事水力仿真模型开发以来,我们团队在长期实践中认识到,水力仿真模型仅仅是解决问题的工具之一,实际工作中常需结合多种模型技术,如水力管网模型、数据驱动模型、大数据模型、统计模型,甚至一些基于个体特征的模型。
20年间的经验使我们意识到,无论是水力仿真还是大模型工程师,核心使命始终是面向问题、解决问题。尤其对于水务企业和决策者而言,所面临的通常是复杂的问题,单一技术或模型难以应对。对此,我们期望以漏损管理为例进行讲解,并分享部分客户交流中的实际体验。
客户对分析工具的期望往往较高,例如,常见需求包括供水系统的实时调度、漏损定位,或排水系统的污水调度及泵站自动控制。许多客户还偏好结果展示的直观化,诸如驾驶舱或三维展示等。然而,单一工具或模型的可视化展示,难以满足多方面的复杂需求。
具体而言,水务管网运维中,机理模型和大模型往往需相辅相成,二者既不冲突,也无法替代。例如,在洪水预报领域,若通过水力仿真模型执行洪水预警,其模拟较为精确,但速度偏慢;相对而言,大数据模型在实时预测上具有速度优势。然而,历史数据有限,往往缺乏足够的降雨与积水点关联数据,影响训练效果。此时,水力仿真模型可通过大量历史数据创建模拟场景,并生成相应的积水数据,形成数据基础,用以训练大数据模型。由此可见,二者结合方能有效应对复杂问题。
此外,机理模型和大模型在功能上各有不同。大模型主要侧重判断,如预测和预警;而机理模型则用于测试和“假设-检验”分析。例如,当大模型提供建议后,若需进一步测试特定调整的效果,可依赖机理模型。大模型作为“黑箱”模型,不支持方案的灵活调整,而机理模型可以动态模拟不同方案的影响,尤其在需要短期、临时调整或长远方案优化时,发挥着关键作用。
当遇到与大模型结果不符的情况,需要进行进一步验证时,机理模型就能够提供支持。尤其在管网的长期改造中,水力仿真模型的作用尤为显著。对于我们而言,真正的挑战在于如何充分发挥数据的价值,以有效解决各类问题。无论是问题解决者,还是业主,往往都希望可以调动手中的各种工具,而不是被工具所限制。
02数据分析的成功关键
数据在当今工作中的重要性不言而喻,数据分析与数据采集的同步推进,能够应对和解决不断变化的需求和问题。数据分析的核心是如何将复杂的问题逐步分解并解决。为了解决终极复杂问题,必须通过问题分解的方式来处理,这也是今天要讨论的关键。
以手机导航为例。十年前,导航系统仅提供最佳或最快路线的指引,若用户走错路,系统便会提示倒回原路。而如今,导航系统在岔路和隧道中能显示三维场景,预测路段拥堵情况及通行时间。这一功能的进步,正是不断细化和分解问题后的成果,最终使导航功能更加智能高效。
同样地,在供水领域,漏损问题可视作一个较为复杂的终极问题。我们可以将其分解为不同层次的问题:第一类是说明性问题,通过简单的统计分析即可获得答案,如污水日均流入量、DMA片区的产销差等,这类问题可通过实时数据计算得到,较为直接。
第二类则为判断性问题,这类问题需要多个数据结合后通过算法进行判断。例如,当前的漏损量是否超出正常波动范围,是否存在新增漏损等。通过多维度数据的整合和分析,可以得出判断性结论。这一类问题虽更为复杂,但仍在可控范围之内。
对于业主而言,削减漏损量是其核心关注的问题,即如何利用现有数据实现自动化报警和精准定位,从而尽早发现问题、快速定位并有效解决,以便实现更大范围的漏损量控制。围绕这一需求,我们调整了分析思路,着重探讨如何达成这一目标。
03基于漏损问题的数据分析系统解析
漏损管理涉及报警和定位,经历了多年的发展和实践。在漏损管理过程中,我们认识到这是一个动态问题,漏损状况会随着时间不断变化,因此需要持续监控。实时监测的压力和流量数据在此过程中尤为关键,尽管还有诸如噪音检测、卫星图像等辅助手段。这些手段在当前的大数据环境下相互结合,增强了分析的信心。然而,项目组关注的重点在于如何最大化现有数据的价值,通过深入的数据挖掘和分析,提供漏损报警和定位功能。这一目标驱动了我们对方法和工具的进一步研究和应用。
水力仿真模型也是一项重要工具,其优势在于能够通过模拟管网压力和流量进行定位。然而在实际应用中,仿真模型需要大量数据和繁琐的操作。例如,曾有一次漏损发生在供水管网中,由于漏损水流直接排入雨水管道,未能通过噪音检测发现问题。最终,通过在模型中调整节点位置并模拟不同的漏损量,确认了漏损点位置,即当仿真数据与实时监测压力数据接近时,锁定了漏损源。这一过程表明,水力仿真模型在特定情况下能提供有效支持,但依然需要进一步优化和数据支持以提升其实时性和精准性。
在实际操作中,我们发现漏损定位过程并不简单。首先需判断漏损存在,再预设漏损量及其位置,并通过不断调整定位和计算进行比对。这一过程工作量大,远非简单的水力模型计算所能实现。因此,我们希望能将这些步骤自动化。
目前,仅依赖水力仿真模型难以完全实现自动化漏损定位,而第三方大数据技术也面临数据不足的问题。大数据分析,如噪音检测等,仍需大量实时数据和设备投入。我们的目标是利用现有数据最大化漏损管理效果,因此在设计解决方案时转向基于DMA的方法。DMA方法也适用于长输管道的漏损分析。
以DMA为例,首先对采集到的流量数据进行合理性筛查,剔除异常值。然后观察流量变化趋势,如有异常增长,便可初步判断为漏损。之后,通过估算漏损量并输入模型中进行比对分析,以实现更精准的定位。将问题逐步分解后,我们形成了一个能够整合实时数据挖掘和压力数据比对的系统,从而实现漏损自动定位。这一系统即为我们的实时在线漏损报警和定位系统。
我们从事水力仿真模型工作二十余年,最初认为漏损定位无法完全依赖水力模型解决。然而,基于客户需求和数据分析的改进,我们在工具的组合使用上找到了解决方案。具体而言,该系统分为两大模块:一是漏损报警模块,通过智能DMA分析流量数据,实现漏损量的估算;二是定位模块,通过对异常数据的分析,尤其是夜间最小流量的波动情况,定位漏损源。当系统在连续多天的分析中锁定同一位置后,我们可确认该区域存在漏损问题。
在系统设计中,监测点的分布合理性也是关键因素。若监测点与漏损点距离过远,如相隔700米,则漏损定位精度会降低。通过优化监测点的布置,可显著提高系统的准确性。基于多次实测案例的验证,我们建立了系统化的思路和综合工具,最终实现了高效的漏损管理。
04结语
水务领域的漏损管理不仅是对工具的选择,更是对复杂问题的深刻理解与逐步解决。随着数据量的不断增长,我们亟需在水力仿真模型与大数据分析的交叉合作中挖掘出更多潜在价值,推动行业的智能化发展。
未来,新一代水务从业者将成为这一变革的关键力量。他们将超越传统思维,通过细化与分解问题,以更高效的管理和决策应对日益复杂的水务挑战。这样的探索不仅激励我们开拓未知领域,也推动我们持续优化现有技术与方法,共同迎接水务行业的美好未来。