基于图像识别的螺栓松动监测方法研究.docx

《基于图像识别的螺栓松动监测方法研究.docx》由会员分享，可在线阅读，更多相关《基于图像识别的螺栓松动监测方法研究.docx（18页珍藏版）》请在第壹文秘上搜索。

1、基于图像识别的螺栓松动监测方法研究目录前言1 .基于FaSterRCNN的螺栓目标识别1.1 1FasterRCNN简介1.2 数据集制作1.3 结果与修正2 .基于图像识别的角度计算方法2.1 透视误差修正2.2 基于CANNY边缘检测与霍夫变换的角度计算方法2.3 角度修正3 .结果与总结3.1 误差分析3.2 总结与展望前言：螺栓连接结构在实际工程中具有极为广泛的应用，从常见的土木工程类应用,如钢架、桥梁、铁轨到航空航天领域导弹、卫星的板间连接，螺栓连接件已经广泛存在与生活的各个角落。对于具有较高结构安全性能指标要求的重要部件来说,螺栓部件的自身安全显得极为重要。事实上，由于螺栓连接处复

2、杂的摩擦动力学现象，在结构面对各类冲击、振动与动态载荷时，可能在结构未产生任何实质损伤时造成螺栓松动、预紧力消失的情况。并且，由于材料结构的疲劳效应，长期的载荷作用下材料形变引起沉降、蠕变和弛豫现象，同样会导致螺栓松动、预紧力消失。为结构带来安全隐患。目前，针对螺栓松动的检测方法主要分为直接法与间接法。直接法即为直接测量螺栓预紧力的相关参数，例如通过扭矩仪测量扭矩，在螺栓上集成应变片测量螺栓栓头对连接板的压力，但此类测量方法效率低、成本大，实际中往往仅应用与重要板件的连接部位监测。间接法即通过各类传感器数据间接反应螺栓连接的状况，主要分为机电阻抗法、超声导波法与振动法三大类。其中，机电阻抗法是

3、依据阻抗参数对结构变化的高敏感性，当螺栓结构松动时，阻抗测量值能够有较明显变动。超声导波法是测量散射波波速与频率，通过分析波速与频率的变化判断螺栓结构是否松动。振动法则是测量结构的振动响应，由响应谱分析螺栓结构是否松动。这些方法均需要安装相应的传感器元件，其优势是针对单一螺栓的检测结构灵敏度较高。但数据采集较困难，且对多螺栓结构无能为力。而基于视觉的螺栓松动监测方法更加适用与大型集成的螺栓连接板件，其数据获取简单便捷，且不需要在结构中安装类似其他传感器的数据采集模块，不会对结构的自身特性产生任何影响。视觉的螺栓松动监测方法从原始采集的数据图像到得出螺栓的松动角度主要需要两大类工作：1 .螺栓区

4、域的目标识别。即确定与区分各个螺栓的所处区域。使得目标识别的结果中有且仅包含一个螺栓，便于后续的角度检测。当前，针对螺栓区域的目标识别主要有两类方法，其一是通过螺栓表面的一些特定特征进行目标识别，例如螺母端螺栓图片中往往有明显的中心圆特征，这些明显的几何特征可以通过opencv的图像处理方法确定特征位置，如图，只要确定了中心圆位置，再通过预知半径即可得到螺栓目标位置。其二是通过深度学习方法进行目标识别，由于不同螺栓规格的差异，其表面特征难以统一，故采用针对固定特征的识别方法并不适用，而深度学习方法可以针对不同螺栓训练以提取螺栓的共有特征，方法适用性更高。并且,深度学习方法已经在此类图像处理领域

5、展现出了强大特征提取与目标识别能力。2 .对区域内的单个螺栓进行角度计算。得到该螺栓的实时角度。对前步提取到的螺栓区域进行特定的图像处理操作，获取螺栓边缘信息,再通过边缘信息求得螺栓的旋转角度。1 .基于FaSterRCNN的螺栓目标识别目标识别是指将某个或多个特殊目标从整体背景中区分出来的操作。其核心问题是获取特殊目标区分于背景的“特征”，再通过分类器识别。当前，目标识别算法主要分为两类，一类是OneTtage检测如SSD,YOLO等，一类是Two-Stage检测如RCNN,FasterRCNN等。其主要区别在于，Two-Stage检测方法分“两步”，有一个独立的候选框生成算法，用于框选可能

6、的目标区域，其框选区域精确度更高，但相应的，算法耗时更长。本文对螺栓目标的角度监测是长周期监测，并不像目标追踪等需要极快的处理速度。相反，若框选区域不够精确，则会导致后续图像处理中部分边缘信息无法提取，进而影响整体检测精度。1.1 FasterRCNN简介FasterRCNN是ROSSB.Girshick在2016年提出的针对标准R-CNN网络与FaStRCNN网络的改进。其将整个目标识别过程的特征提取、目标框选取、目标框修正与结果分类整合在了一个网络结构中，使其在训练速度、识别精度上均得到了较大的提升。classifier图示即为标准的FaSterRCNN结构，其主要分为三个部分：ConvI

7、ayerS即特征提取层。该层采用CNN卷积神经网络对原始图像进行特征提取，输出特征图。RegionProposalNetworks即候选框区域生成网络。进行目标识别的重要步骤之一就是如何框选出目标的位置与大小，由于目标在原始图像中的尺寸大小不一，且不同目标的形状也不一致，故如何生成对目标的框选是目标识别中的重要问题。ROIpooling与classifier完成最后的分类与修正操作。FasterRCNN的具体流程如下：输入图像进行大小重整后进入主干特征提取网络，需要注意FasterRCNN的图像大小重整并不会对图像原始比例进行修改以造成图像失真，而是按比例放缩后对空白区域补0。本文所采用的主干

8、特征提取网络为AIeXNet网络架构，由于本文的分类特征并不复杂，相较ReSNet其训练速度更快，足以满足本文的识别需求。经过CNN网络后，即生成了原始图像的特征图。而后续的RPN网络即在特征图上生成候选框，估计目标在特征图中的位置。RPN网络采取了设定预设框，再通过对预设框进行修正的方法生成目标识别的建议框。其中，在指定预设框时，RPN网络的目的是尽可能兼顾不同目标的大、中、小尺度，同时尽可能包含不同的长宽比以适应针对不同目标的识别框选。本文选用的是如下9类预设框，即三种不同大小、三种不同长宽比的矩形框。（预选框anchor应尽量包含各个尺度特征）此时，预设框在特征图上逐点遍历，判断目标是否

9、存在与预选框之中。同时，由于提前指定的预选框并不能完美匹配所有目标尺寸，故RPN网络还会进行预选框修正操作。下面简单介绍其修正原理：需要提前声明，图像处理中，矩形框通常用四维向量表示：（x,y,w,）前两项表示窗口中心点坐标，后两项表示窗口的宽和高。对下图而言，假设框A为未经过修正的预选框，框G为真实目标框，修正算法即想找到一种映射变换，使得框A尽可能的向框G靠拢。即原始框4=(/,4y,4v,4);真实框G=Gx,GyGwtGh);找到一种变换F,使得FAtAytAw,Ah)=G,tG,yfG,wtG,h)(Gx,GytGwtGh)先通过平移调整中心点坐标:G,x=Awdx（八）+AxGy=

10、AldyA+Ay再通过缩放调整宽高：G%=Awexp(du,)Gfh=Ahexp(（八）)即RPN网络的修正过程所需要的学习参数即为上式的四个偏差未知量。当输入的预选框A与真实框G的偏差较小时，可认为该变换过程为线性变换，通过线性回归方式预测四个变换参数。即：%=疗0(4)通过预选框修正后即可得到与真实框更接近的预测框区域。接下来即为分类，通过前文提取到的预选框区域特征，分类该预选框属于哪种目标，针对本文即是分类其属于背景还是螺栓区域。同时再次应用选框修正算法，对最终的预测分类结果再次进行选框修正，获取更高精度的最终预测框。1.2数据集制作试验件：本文选用的实验件为10cm*10cm打孔板件，

11、螺栓为M6螺栓若干。需要留意的是，考虑到实际工程需要，螺栓连接部分往往跟随板件进行防锈处理，本文采取了常见的灰色防锈漆处理，即减小了背板与螺栓件的区分度，一定程度增大了图像识别的难度。数据集为不同距离下的螺栓拍摄图片。55张共记230个螺栓区域。/吃-TM耳于f 生 = !1.3结果与修正学习率:le-2le-5le-3初步应用FaSterRCNN网络训练验证，调整训练参数如学习率、迭代次数设置，同时，考虑到部分螺栓的先验信息，添加以下结果约束:1 .仅输出预测概率大于90%的框选区域；2 .仅输出框大小为80*80120*120大小的区域；3 .重复区域仅输出高预测值框；训练集修正：1 .取

12、消空螺栓干扰2 .取消背景干扰（透视变换消除背景边），提高精确度3 .灰度化输入图像，减小通道数，提升训练速度。最终结果表格：训练样本数检测出的总数正确数错误数漏检个数完美结果数1032275352331301094730300017703030002010030300022125303000201503030001518030300017其中，错误样本即框选样本中不包含任意一条可用的螺栓边界，漏检样本即为测试集中存在未能识别的螺栓样本，正确样本为检测结果包含螺栓边界（可能存在部分角点的漏选，但不影响后续的角度识别），完美样本为检测框完美的框选了螺栓整体，见下图：正确结果完美结果2.基于图像识

13、别的角度计算方法在进行前文处理后，即得到了螺栓目标区域的坐标(X,y,w);本节即探讨如何通过图像识别方法对包含单螺栓的区域进行角度估计。由于角度是一个相对值，即在我们针对螺栓进行角度预估时，需要有一个参考线，即螺栓相对于该参考线的旋转角度是多少。故本节首先将通过透视变换拉伸原始图像区域，消除透视误差的同时引入该参考面即为背板底边。2.1 透视误差修正透视现象广泛存在于视觉方向，由于在采样螺栓图片时，不能保证摄像头完全正对于螺栓区域正上方，此时，相对靠近摄像头的区域将会被拉伸，远离摄像头的区域将会被压缩。而原始的螺栓平面，当我们将其看为正六边形时，由于透视变换的影响，其拉伸于压缩现象会使得六边

14、形边长变化、各边夹角变化，为后续的角度检测带来误差。故我们希望找到一种矩阵变换，建立原始图像与正视图像的变换矩阵，实现从原始图像到正视图像的转化过程，消除透视现象的误差。(如下图)获取该矩阵需要原始图像四点，与变换后正视图像对应四点的坐标，其两坐标系的转换关系可由下式求解：wl1wl2m3xm21w22w23yw3lw32w33IX=mW*x+m2*y+m3Y=w21*X+w22*y+w23Z=w3l*xw32*oy+w33、_X_-Il*x+ml2*y+ml3Zw31*Xw32+y+w33,Kw21*x+w22*y+w23y=一=Zw31*x+w32*j+w33其中，x,y为原坐标点，x,y

15、为变换后坐标点，M为透视变换矩阵。为方便计算，本文选取的原始点为背板的四个顶点，变换后的点即对应了正视图正方形的四个顶点。其中，背板的四个顶点获取将通过霍夫变换寻找长直线交点获得，将在下节论述。2.2 基于CANNY边缘检测与霍夫变换的角度计算方法在通过透视变换处理后，螺栓的识别区域即为标准的正六边形，如下图：（注意，透视变换并不能消除第三个维度的影响，即当侧视角度较大时，经透视变换后依然会有明显的螺栓侧向边缘，但可保证表面为正六边形）Canny边缘检测算子。在通过上文的处理后，已经正确得到了单个螺栓区域的图像，此步的工作即从螺栓图像中获取螺栓的边界信息。图像处理中，较为常用的边缘检测方法为Canny边缘检测算子,其流程如下：（图像已经过灰度化）局斯感肢M 一阶差分求灰度赢北极人值抑司山界连通首先通过高斯滤波消除图