基于图象的三维重建分层重建方法.ppt
基于图象的三维重建基于图象的三维重建-分层重建方法分层重建方法1、什么是分层重建？2、分层重建的主要步骤和任务3、如何进行分层重建主要内容主要内容什么是基于图象的三维重建什么是基于图象的三维重建？NjMiXPUjiij,2,1;,2,1重建算法图象 I1IM投影矩阵投影矩阵P1PM重建后的重建后的空间点空间点XI1I2I3XP1P2P3PMIM重建问题可行吗？重建问题可行吗？仅仅仅仅已知图象已知图象重建算法重建算法 能得到什么？能得到什么？分分 层层 重重 建建 图图象象 射射影影 仿仿射射欧欧几几里里得得射影射影空间空间仿射仿射空间空间欧氏欧氏空间空间低层低层高层高层三种空间之间的相互关系三种空间之间的相互关系4321444342413433323124232221141312114321xxxxaaaaaaaaaaaaaaaayyyy110001321343332312423222114131211321xxxaaaaaaaaaaaayyy110001321343332312423222114131211321xxxarrrarrrarrryyy射影变换射影变换仿射变换仿射变换刚体变换刚体变换射影变换射影变换仿射变换仿射变换刚体变换刚体变换交比不变，共线、共面性不变交比不变，共线、共面性不变平行线变为平行线，不能保持垂平行线变为平行线，不能保持垂直关系，单比不变直关系，单比不变平行线变为平行线，垂线变为垂平行线变为平行线，垂线变为垂线，线段的长度不变线，线段的长度不变不同空间下的若干性质交比交比(cross ratio)和单比和单比ABDCBDADBCACABDABCCDAB)()(),(Hartley 的重要发现的重要发现 I1INP1PNX重建算法NjMiXPUjiij,2,1,2,1UXXE欧氏空间?基于图象的重建结果与欧氏空基于图象的重建结果与欧氏空间已知点的关系间已知点的关系存在且仅存在一个存在且仅存在一个A矩阵，使得下列关矩阵，使得下列关系成立系成立PiE=Pi AXE=A-1 XNNNEEEEtRKPtRKPtRKPIKP22211100欧几里得空间下射影矩阵的形式欧几里得空间下射影矩阵的形式PXU 不同空间下重建的定义不同空间下重建的定义如果则则XAPAU1当A为射影变换矩阵射影变换矩阵时，称此时的重建为射影重建射影重建当A为仿射变换矩阵仿射变换矩阵时，称此时的重建为仿射重建仿射重建当A为刚体变换矩阵刚体变换矩阵时，称此时的重建为欧氏重建欧氏重建PEXEX,PUPE，XE 欧氏空间欧氏空间欧氏变换欧氏变换欧氏重建欧氏重建射影变换射影变换射影重建射影重建仿射变换仿射变换仿射重建仿射重建对应点自动建立对应点自动建立对应点自动建立对应点自动建立对应点自动建立对应点自动建立对应点自动建立对应点自动建立原 始 图 像对 应 点 匹 配从三个不同角度显示射影重建的结果从三个不同角度显示欧氏重建的结果贴 纹 理 显 示射影重建射影重建给定 M 幅图象，N个对应点:NjMiUij,2,1;,2,1求M个投影矩阵MpppPPP,21和N个空间点NXXX,21使得下列关系式成立NjMiXPUjipij,2,1;,2,1,射影空间投影矩阵的具体形式射影空间投影矩阵的具体形式11)1(22211100MMpMpppeHPeHPeHPIP仿射空间投影矩阵的具体形式仿射空间投影矩阵的具体形式111)1(2122111100MMaMaaaKtKKRPKtKKRPKtKKRPIP仿射空间投影矩阵与射影空间投影矩阵仿射空间投影矩阵与射影空间投影矩阵之间的关系之间的关系根据Hartley的理论，1,2,1,0,MiAPPipia从 mAAAIIT211211001,0,1211mAIA1010000100001321aaaA注意：注意：A 对所有对所有 的的 Pi 都一样都一样仿射重建仿射重建在射影重建的基础上如何确定A矩阵1010000100001321aaaA1,2,1,0,MiAPPipiaNNNEEEEtRKPtRKPtRKPIKP22211100欧几里得空间下射影矩阵的形式欧几里得空间下射影矩阵的形式欧氏空间投影矩阵与仿射空间投影矩阵欧氏空间投影矩阵与仿射空间投影矩阵之间的关系之间的关系100TiaiEKPP分层重建小结分层重建小结射影射影重建重建仿射仿射重建重建欧氏欧氏重建重建1010000100001321aaaAK重建算法重建算法射影重建射影重建 基于二幅图象的方法 基于因式分解的方法（Factorization)仿射重建仿射重建 基于模约束的方法(Modular Constraint)基于摄像机平移运动的方法欧氏重建欧氏重建 线性方法线性方法射影重建射影重建基于二幅图象的重建方法基于二幅图象的重建方法1、计算第一、第二幅图象之间的基础矩阵 F，第二幅图象的外极点 e；2、可以证明，eFePIP0213、利用P1，P2，计算空间点 X的坐标XPUXPU2221114、利用已得到的 X 求其它 Pi.I1I2XF，eP1,P2P1,P2其它其它Pi基于二幅图象的重建方法基于二幅图象的重建方法基于因式分解的射影重建方法基于因式分解的射影重建方法由于由于 NjMiXPUjiijij,2,1;,2,1MNMNMMMMNMNMUUUUUUUUUW221122222221211112121111NNMMXXXPPP4214321ij?基于因式分解的射影重建方法（续）基于因式分解的射影重建方法（续）关键问题是求合适的关键问题是求合适的 ，使得使得W矩阵的秩为矩阵的秩为 4 ij目前文献中有二种方法计算合适的目前文献中有二种方法计算合适的ij1、Sturm and Triggs 方法（ECCV96，建立 之间的连接关系（使用图象间的 F 矩阵和 外极点e)2、Ueshiba and Tomita方法（ECCV98），利用SVD分解，极小化从第5个以后的奇异值。ijjpipijjpijipijipUeUFUe2),3(52NMMiniiJMinij1、2、仿射重建仿射重建（模约束方法）（模约束方法）TiiiTiiTipiaiiiaaeHKKRaIeHaIPPeKKRP11101001223mmmaeHITii31220mmm321仿射重建仿射重建（摄像机平移运动方法摄像机平移运动方法）111111100eIPIReKKRPIPaaa平移运动平移运动然后利用射影重建方法进行重建，所得结然后利用射影重建方法进行重建，所得结果为仿射空间下的重建果为仿射空间下的重建欧氏空间的重建欧氏空间的重建（Metric Reconstruction)TTTiaTiiaiiaiiaiiiaKRHKKRKHKKRHeHeKKRP11TTiaTiaKKHKKH
