基于视觉传感器网络的结构健康监测新技术
话说在2016年底，我在博客里分享了一篇文章的阅读心得，详见《利用虚拟视觉传感器监测桥梁动挠度》。作者Ali博士在文中提到使用的器材部分来自于哥伦比亚大学Feng博士所在的课题组，我在分享的时候心里还嘀咕着，会不会是我认识的那位冯东明博士呢？
冯东明博士
结果当博文发布出去后，东明兄还真的在微 信里告诉我，那个Feng果然是他！
东明兄在哥伦比亚大学攻读博士学位期间，所做的主要工作，都是围绕上面说的这个视觉传感器网络来开展的。这不，最近他发表了一篇在这个领域很值得一读的文章(我始终认为优秀的综述能让后来者事半功倍，是非常重要的一种文献形式)：
Feng D, Feng M Q. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection – A review[J]. Engineering Structures, 2018, 156:105-117.
因为值得一读，必须向大家分享。
问题的提出
对于大型工程、基础建设项目，没听说是建设完成就了事的。竣工之后需要由运维部门对结构进行长期的检测和维护，以确保结构物在相当长的服役期内处于安全、稳定的工作状态。
目前最常使用的维护方法，还是靠肉眼的人工巡检。这种方式效率低下，关键还效果有限，且工程经验告诉我们依靠工作人员责任心和职业素养来完成的工作通常没有机器自动获取的数据更靠谱。于是全世界的科学家开始就研发基于无损评估(Nondestructive evaluation , NDE) 的结构检测与监测技术，投入了大量的精力。但与实验室条件不同，需要进行健康监测的结构往往都具有体量大，所处环境复杂等特点，这给需要通过局部观测来反映结构整体状态的工作带来很大挑战。
近20年来，研究热点开始转向基于针对结构损伤探测以及基于传感器探测(尤其是加速度传感器)的结构完整性测定，例如通过基于频域模态特性的变化，如自振频率、振型、弯曲曲率、模态弹性及其导数，模态应变能、频率响应函数等，来进行损伤探测——这样做的确可以实现监测的自动化，省去了人工，但依然难以推广——因为传感器系统的安装非常复杂和耗时，硬件成本昂贵，以及传感器网络在结构服役期间的长期维护和数据采集系统的建立，这些都不是轻松的工作。于是只能在一些经费宽裕的项目上采用，且这整套系统的“项目之间可迁移性”往往不高，到另一个项目上还需要把工作重来一遍。
为了克服这些局限，研究者们开始寻找其他更好的解决方案，包括：
无线传感器；
光纤维传感器；
干涉雷达系统；
视觉传感系统——本文从这里展开
何为视觉传感系统
视觉传感系统(vision sensor systems)是一种由摄像机、视觉传感器( computer vision-based sensors，或简称为 vision sensor)为主要组成部件，以计算机图像识别与跟踪算法为核心的，对结构进行远距离、非接触、无损伤监测的结构健康监测系统。
视觉传感系统的优势有哪些
和现有的各种结构健康监测系统相比，视觉传感系统的优势如下：
1.与结构加速度传感系统相比。视觉传感系统可直接对结构整体 位移进行实测，而相对于由许多(通常也不是很多)局部测点组成的传感器网络，结构的整体 位移更直接地反应了结构总体刚度的变化，因此可以更准确地反应结构整体状态；
2.与传统的接触型位移传感器相比。传统的接触型位移传感器，如线性可变差动变压器 (linear variable differential transducer , LVDT)，需要一个不动的基准点，这在实际结构中很难做到。尤其在量测主梁跨中挠度的时候，长期在梁下假设一个架子基本是不可能实现的任务。视觉传感系统就可以规避这个问题，通过摄像机的镜头和计算机图像处理算法，利用非接触的视觉传感器技术进行位移量测，可以完美解决“找不到安装传感器的固定点”这个问题；
3.与传统传感器相比，视觉传感系统不需要大量时间用于传感器的安装，其安装成本相对也很低。视觉传感器不需要与结构物的物理接触，可以远程控制，可节约时间和器材成本，尤其对于桥梁而言，安装的时候不需要交通管制；
4.与GPS相比，视觉传感器虽然也需要在结构物上安装标靶，但其监测精度远远比GPS(误差5~10mm)高多了；
5.与非接触的激光测振仪相比，测试仪器可以安放得更远，甚可以达到几百米之外，同样达到想要的精度；
6.对于传统的传感器而言，视觉传感器可以是非接触分布传感器技术，同时在很长的距离上跟踪多个变化的目标，获取同步数据。
视觉传感系统能做哪些事
目前，视觉传感器系统在实验室和实际工程中都得到了验证，这个系统的核心是数字图像相关技术(Digital Image Correlation，DIC) ，这是一种基于灰度数字图像的全视野图像分析方法，可以在三维空间中确定物体的轮廓和位移。
有了这个利器，就可以在力学试验中，将拍摄图像中的构件物理位移转变为像素级、亚像素级别的应变。研究者通常将带有人工斑块图案或其他纹理的图案安装到构件表面来提高视觉识别的精度，基于由图像得到的构件应变场，可以量测并计算出多种结构参数，如：杨氏模量、泊松比、应力强度因子、残余应力、热膨胀系数等等。
在结构的健康监测应用中，结构的自振频率和振型可以方便地从一个或多个镜头实测的位移计算得到。
视觉传感系统的基本原理
传感器系统通常包括一个或多个摄像机，长焦镜头和计算机，如果有在夜间进行监测的需求，就还需要安装灯具器材。
详细地，可把视觉传感系统的组成分为以下几个部分：
1.摄像机。摄像机通常安放在较远的地方，因此需要使用长焦镜头。机身用三脚架固定，在无视线遮挡的远处，且摄像机需要与进行图像处理的计算机进行连接，摄像机的常用配件见下表：
2.标靶。标靶指的是用摄像机捕捉图像用的参照物，可以在结构上设置一个或多个，任何结构物上的自然物体都可以当作标靶，但为了达到视觉识别精度的要求，需要在捕捉到的图像中标靶与周围环境有明显的区分，对比度强烈。因此通常会安装人造的，纹理清晰的黑白纹理板，如图中的这种：
3.计算机与图像处理软件。如果使用的图像软件具有实时处理能力，这需要将计算机与摄像机相连，被量测的位移时变曲线就会在电脑屏幕中实时自动显示，否则，图像就会存储在摄像机或电脑中以备以后处理，如下面的软件界面：
图像处理软件需要实现几个核心功能，包括：
利用模板匹配算法(template matching algorithm) ，与子像素技术结合，从图像(尤其是动态图像)中提取到与结构匹配的位移，从而实现对标靶目标的实时跟踪。为了减少计算时间，可将每个视频帧的某个预定区域(部分图像)作为搜索目标，如图：
坐标变换算法。为了从捕捉到的图像中得到目标的物理位移，实际结构的坐标系与图像像素级别的坐标系之间的关系需要建立：
上图中就是一个完整的视觉传感系统，以后我们再遇到类似的场景，便会想到除了拍摄桥梁美景的摄影师之外，还可能是东明兄正在海风中苦苦地搜集数据呢
视觉传感系统在结构监测中的应用
尽管视觉传感系统在结构健康监测中的应用算是刚刚起步，但已经有了不少可喜的尝试：
结构模态特性识别：结构健康监测通常都是通过振动测量来进行结构模态属性识别的，然而利用拾振器开展的测量，只能在结构上布置为数不多的测点，而视觉传感系统则可以实现用一套摄像机设备同时监测结构上多个点的振动行为，从而在模态识别方面得到更精确、更符合实际结构情况的结果。
模型更新和损伤检测：通过视觉传感系统，可以采集结构的自振频率、振型、阻尼比等参数，用于结构的有限元模型的更新，进而进行结构损伤的模拟和识别。
预测索力：对于采用拉索为主要受力构件的斜拉桥来说，索力的准确测量非常重要。传统的索力测量方法是采用基于振动原理的索力仪，这种设备安装繁琐，价格昂贵，而且并不是每次测试都能达到理想的精度。然而采用视觉传感系统，则可以显著降低量测系统的成本。
除了结构位移远程监测以及上述的几个应用之外，视觉传感系统还在这些领域有不小的应用潜力：
监测交通运输基础设施中的轨道交通车辆的运行情况；
搜集桥梁运营期间车辆荷载的作用(车辆类型与流量等信息)；
桥梁荷载试验；
在无需于桥上安装称量设备的条件下，建立车辆称重系统；
桥梁裂缝自动检测系统
更多细节
冯东明博士在介绍了视觉传感系统的基础上，还对其中的一些细节进行了探讨和总结，例如：
图像跟踪和处理的计算机算法如何实现；
像素级和子像素级解决方案对计算精度的贡献；
单点与多点监测的实现方式；
坐标变换与比例因子法的应用；
2D测量与3D测量的不同选择；
人工标靶与自然标靶的实际差异；
实时监测算法的技术实现；
此外，还有对监测误差来源分析等，这些细说起来实在是信息量太大。好在东明兄已经在他的这篇综述文章中，把自己这几年的研究成果，以及相关文献梳理了一遍，非常适合对这个领域感兴趣的同行阅读。
再发一下这篇文章的信息吧：Feng D, Feng M Q. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection – A review[J]. Engineering Structures, 2018, 156:105-117.
