第十四届全国大学生创新创业年会学术论文基于视觉识别的达尔文机器人投篮研究与实现.docx

第十四届全国大学生创新创业年会学术论文基于视觉识别的达尔文机器人投篮研究与实现哈尔滨工程大学郑心仪（1.哈尔滨工程大学计算机科学与技术学院，黑龙江省哈尔滨市150000）赵国冬讲师，王勇副教授中文摘要：通过使用深度强化学习控制机器人投篮的方法，提高机器人在过程中的自主性和对不同投篮环境的适应性,最终实现机器人投篮。该方法在单目视觉识别的基础上搭建机器人与环境的交互机制，并利用基于不同奖励函数的深度确定性策略梯度算法训练机器人，分析不同条件对神经网络收敛性的影响。仿真结果表明，通过多次自主学习，能够使机器人自主投篮并适应不同的环境。该方法较目前主流的仿人机器人投篮研究中存在的需要人工干预投篮问题，提升了机器人的自主性。英文摘要：Authorwillusedeepreinforcementlearningalgorithmtocontroltherobotshooting,toimprovetherobot'sinitiativeandadaptability.Basedonthemonocularvisualrecognition,theinteractionmechanismbetweentherobotandtheenvironmentwasbuilt.Therobotwastrainedbythedeepdeterministicpolicygradientbasedondifferentrewardfunctions.Theeffectsofdifferentconditionsontheconvergenceoftheneuralnetworkwereanalyzed.ThesimulationresultsshowthattherobotcanshttheballautonomouslyandadapttodifferentenvironmentsthroughmultipleautonomousIearning.Comparedwiththecurrentmainstreamhumanoidrobotshootingresearch,themethodneedsmanualinterventionshootingproblem,andimprovestherobot'sautonomy.关键词：仿人机器人；强化学习：单目视觉；投篮国家级大学生创新创业训练计划支持项目O作者简介：郑心仪（1999-）、女,山西省晋中市人，软件工程，2017级本科生，无。一、投篮仿真环境构建本章建模仿真场景并拓展机器人。首先介绍机器人投篮环境及实现,其次编写机器人的视觉识别模块,最后拓展机器人模型并实现篮球拿取功能。(一)投篮环境简要介绍项目投篮平面图如图1.1,场地为180CmXl35cm。根据场地建立如图所示的坐标系，在(0,5)坐标下有一半径为5cm的篮筐，机器人的起始位置在(0,90)坐标。三分线半径60cm,五分线半径90cm,在两条投篮线的中间，球会在半径30cm范围中的任意位置出现。180.00图1.1投篮环境平面图在1.2所示的篮筐模型图中，篮筐高度10cm,上表面高度40cm,篮板大小为20cm2,篮筐颜色为正红色。此外,场景中的球架使用管道型组件,支撑效果如图1.3所示。设定球架的高度为0.28m,半径为0.01m。图1.3球架支撵效果图(二)机器人视觉识别模块1 .基于颜色识别的物体识别通过HSV模型实现达尔文机器人的视觉识别模块。HSV(Hue,Saturation,Value)山模型中颜色参数为：色调(H),饱和度(S),明度(V)。首先，人工分割需要的图像。接着可视化图片的HSV值范围并记录。最后，编写物体识别策略并测试。首先，如图1.4中提取篮筐HSV值范围，根据该范围在机器人拍摄到的图像图1.5(a)中进行分割,得到如图1.5(b)的结果。H2000-1500 -1000 -500 -01020 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170(a)(b)图1.4HSV分割结果(a)(b)图1.5分割测试如图1.6所示，实现机器人跟随篮球。图1.6跟随篮球功能2 .单目视觉测距单目视觉测距原理如图1.7所示，物体的高度reak,物体与机器人摄像头之间的距离为d,使用相机对物体进行拍照并计算物体在图像中的像素高度为imgho可以得出相机焦距为如下公式：(imghXd)卜=;rea%通过公式得到摄像头焦距F,反推得出物体和摄像头之间的距离Iy为：_(realh×F)一imgh图1.7距离测算原理由图1.8可知，计算得到的摄像头焦距不完全准确。经分析发现主要原因有三：首先，摄像头与物体之间有高度差；其次，摄像头与物体之间的距离不完全准确；同时，摄像头镜片不与物体平面平行。图1.8焦距测算误差为了减小该误差，应当尽量减小摄像头平面与物体平面之间的角度差，并多次测量。在焦距计算和距离测算的过程中采用篮板作为参照物。首先进行焦距的计算，已知篮板大小，固定头部位置。如表1.1所示，real_d是真实距离，img_w篮板像素宽度，f是相机焦距。表1.1焦距测算数据real-dmimg_w/pxf0.52860158.400.57855158.950.65848157.920.69844153.560.73842154.980.81838155.420.85836154.440.89834152.66平均值155.952使用测得的焦距F=155.952进行距离测算。考虑到不同角度下篮筐的高度更不容易畸变，所以使用高度计算距离，测算误差如下表1.2o表1.2距离计算测试数据eva-d7mreal-dm误差/%头抬最高0.38990.38800.18720.43320.42800.51900.47990.46801.18520.52870.50802.0651head_rav=0.013280.54720.54800.08210.58850.58800.04720.63650.62800.85060.86640.82703.9400平均误差2.0729最大误差3.9400由表1.2可知，其平均误差在2.1%以下，最大误差在4%以下。(三)达尔文机器人拓展机器人需要实现的拿取篮球动作需要较高灵活度的机器人手部，需要对机器人手部进行拓展改造。1 .达尔文机器人简介达尔文机器人(DARWln-OP2)机械结构如图1.9所示。271.OnunI104.0mm161.0<nmheight:454.5mm(17.90in)weight:3.0kg(6.61to)图1.9达尔文机器人尺寸及重量仿真软件WebotS中内置的达尔文机器人仿真模型实现部分传感器和执行器，包括：20个电机和位置传感器、5个LED、三轴加速度计、三轴陀螺仪以及摄像头。同时提供三个管理器：步态管理器设置调整机器人不太；动作管理器运行动作文件中的动作；视觉管理模块不具有Python接口，所以重新编写基于颜色的视觉识别模块。2 .机器人的改造及拓展首先，在机器人的身体节点中添加GPS节点。其次，在机器人双手手臂上增加一个较链结构。较链接头结构如图1.10所示。在仿真中，皎链接头节点下包含三个属性:钱链参数(jointParameters)、设备(device)和终端节点(endPoint)o图1.10较链接头机械结构在机器人右手接口中增加一个较链接头结构。其终端节点使用长方体，轴位置为(0,0,1),旋转范围为0,lo类似地，左手旋转范围为-2,1,终端节点为自定义形状。其结构如图1.11所示。图Ul左手拓展形状示意图最终，达尔文机器人的双手改造效果图如图1.12所示。图1.12双手改造效果图3 .拿取篮球实现及测试拿取篮球动作效果如图1.13所示。在过程中增加后退机制，保证机器人拿取篮球成功率。图1.13拿取篮球效果图实现了针对篮球位置偏向的拿取篮球动作。同时，调整右手扩展的长度，测试结果如表1.3。结果表明准确率达到90%以上。其中，X是篮球相对于机器人的垂直距离，Z是篮球相对于机器人的水平偏移。表1.3拿取篮球成功率测试xmz/misSuccess/调整右手扩展长度0.300.00TrueZTrue0.30-0.06TrueZTrue0.30-0.12TrueZTrue0.300.03TrueZTrue0.300.09FalseZTrue0.250.00/True0.25-0.03/True当检测到篮球支架的高度变化时，移动其位置到投篮范围外，避免篮球支架对机器人前进的影响。同时，持有篮球动作如图1.14所示。图1.14持球姿势4 .投篮角度分析机器人投篮动作如图1.15所示。图1.15投掷篮球如表1.4所示，对于不同的手臂旋转角度，记录篮球在落地时和机器人之间的水平距离。通过表4.1数据绘制图1.16的散点图。表1.4手臂角度与落地距离shoulderL-Motorangledistance-0.085/800.440-0.0406=0.39940.058/900.450-0.0406=0.40940.262/1000.603-0.0410=0.56200.442/1100.611-0.0196=0.59140.609/1200.645-0.0410=0.60400.783/1300.757-0.0410=0.71600.969/1400.743-0.0410=0.70201.140/1500.688-0.0411=0.6469投篮角度与距离关系图1.16投篮角度与距离关系图由表1.4可以发现，投篮距离最远时手臂的旋转角度为130oo同时，为了适应不同距离时的机器人投篮，将90°和110°也作为投篮时手臂旋转角。二、基于强化学习的投篮研究本章使用深度强化学习控制机器人自主投篮。首先搭建强化学习环境。其次，实现基于深度确定性策略梯度算法的智能体及其对机器人的控制。(一)环境搭建I.奖励机制首先，通过篮球的位置判断是否投中。在环境中增加一个RobOt节点，该节点与篮球相同，并增加一个GPS节点。结构树如图2.1所示。DEFBailRObOt" translation0.60.30 rotation0100 scale111*children> GPS'ballGPS,> DEFPingpangBaIISolid"name'robot, model'" description", ContactMateriaI"default" immersionPropertiesboundingbjectUSEPingpangBaII>physicsPhysics图2.1篮球结构树采用稀疏的奖励机制在训练过程中获得奖励为0,所以，增加一个基于势能的奖励塑造*俅找M用.(Poten