EN中文

地球信息科学学报 >

2016 , Vol. 18 >Issue 8: 1022 - 1029

DOI: https://doi.org/10.3724/SP.J.1047.2016.01022

地球信息科学理论与方法

基于结构化场景的单幅图像建筑物三维重建

  • 王思洁 ,
  • 方莉娜 , * ,
  • 陈崇成 ,
  • 黄明伟
展开
  • 福州大学地理空间信息技术国家地方联合工程研究中心,福建省空间信息工程研究中心,福州 350002
*通讯作者：方莉娜(1983-),女,博士,助理研究员,研究方向车载激光扫描数据的道路环境特征感知。E-mail:

作者简介：王思洁(1990-),女,硕士生,研究方向虚拟地理环境与数字区域模型。E-mail:

收稿日期: 2015-09-08

  要求修回日期: 2015-11-12

  网络出版日期: 2016-08-10

基金资助

国家科技支撑计划课题(2013BAH28F02)

国家自然科学基金项目(41471334、 31200430）

收起

A Single View Type 3D Reconstructive Method for Architecture Based on Structured Scene

  • WANG Sijie ,
  • FANG Lina , * ,
  • CHEN Chongcheng ,
  • HUANG Mingwei
Expand
  • National Engineering Research Centre of Geospatial Information Technology, Spatial Information Research, Center of Fujian Province, Fuzhou University, Fuzhou 350002, China
*Corresponding author: FANG Lina, E-mail:

Received date: 2015-09-08

  Request revised date: 2015-11-12

  Online published: 2016-08-10

Copyright

《地球信息科学学报》编辑部 所有
Fold

摘要

针对无法利用激光扫描或多张图像实现三维重建的已损或不复存在的建筑,本文提出了一种基于结构化场景的单张图像建筑物三维重建方法。该方法先基于RANSAC算法及最小距离法分别解算灭点直线和灭点;然后基于平行平面、包含平行信息的任意平面和包含垂直信息的任意平面的平面模型解算三维坐标。本文以现存某高校图书馆为例,重建了三维模型,并分析了模型精度。结果表明,重建误差最小为0,最大为5.8%,模型整体精度在1.9%左右,符合三维重建精度要求。在四川省白鹿领报修院教堂的三维重建应用中,建立了已损建筑物的三维模型,获得了较好的重建效果。该方法适用于包含平行、垂直、灭点和平面结构的建筑物场景,可得到建筑物三维几何线框模型,几何细节采用纹理映射替代,可应用于现存建筑和文化遗存遗址的三维重建。

关键词： 单幅图像; 三维重建; 平面重建; 建筑物

本文引用格式

王思洁 , 方莉娜 , 陈崇成 , 黄明伟 . 基于结构化场景的单幅图像建筑物三维重建[J]. 地球信息科学学报, 2016 , 18(8) : 1022 -1029 . DOI: 10.3724/SP.J.1047.2016.01022

Abstract

For the damaged or disappeared buildings which cannot be reconstructed by laser scanning technique or from multi-pictures, this paper proposed a method for the single view architecture's reconstruction based on the structured scene. Firstly, the vanishing lines and vanishing points were calculated and extracted based on the RANSAC algorithm and minimum distance method. Then, their three dimensional coordinates were calculated from the parallel plane or any plane that contains the parallel lines or vertical lines. Experiments were undertaken to evaluate the validities of the proposed method with two datasets, one of which is featured by a university's library and the other is the Sichuan Bailu Lingbao Seminary Church. The minimum reconstruction error of the university library is 0 while the maximum is 5.8%, and the overall accuracy is about 1.9%, which satisfies the accuracy requirement. At the same time, this method was applied for reconstructing the damaged buildings, which provides a good reconstruction result for Sichuan Lingbao Seminary Church's three dimensional reconstruction and modeling. This method is applicable to building scenarios containing the parallel, perpendicular, vanishing point and plane structure, which is used to obtain the three-dimensional geometric wireframe building model. Furthermore, the geometric details are replaced by texture mapping. This method also can be applied to the three-dimensional reconstruction of the existing buildings and ancient cultural relics.

Key words： single view; 3D reconstruction; plane reconstruction; architecture

1 引言

建筑物三维重建是指建立适合计算机表示和处理的建筑物数学模型[1],它是虚拟现实、智慧城市和文化遗址数字化保护的重要内容之一。现有的三维扫描技术、摄影测量技术或计算机视觉技术能生成高精度、强真实感的三维模型[2-3],能够满足绝大部分三维重建需求。但这些方法不适用于图像较少的已损或已消失的建筑物的三维重建。Criminise[4]提出了单张图像三维重建方法,即仅利用单张图像中的透视几何信息构建待建物三维模型。算法结构简单,不受图像数量限制,开拓了基于图像建模的新方法。
近年来,学者分别从成像的光学与透视特性等方面解算单幅图像的三维信息。Horn[5]、Kawasaki[6]等分别利用图像的明暗信息和阴影信息恢复物体三维深度,但假定环境过于理想,适用情况单一。Saxena[7-8]结合图像亮度、颜色及纹理信息,利用训练过的随机马尔科夫场推算各个单元的朝向及深度,适用于大场景低精度重建。Debevec[9]讨论了用参数化的长方体、圆柱体、棱锥等几何模型搭建三维场景的方法,将图像与模型库结合弥补单张图像深度缺失问题。Guillou[10]利用灭点标定相机,通过不断旋转、缩放、平移三维立方体构建三维模型,适用于未标定单幅图像的重建。王茹[11]分析了简单几何体的透视原理,在已有的模型库的基础上利用透视几何学重建模型。Bryson[12]利用立方体和球体几何参数训练BP神经网络实现自动化单张几何建模。基于模型库的单张重建能获得较高精度的三维模型,但单一的参数模型往往不能满足建筑物三维重建需求。Criminise[4]、Garcia-Gago[13]等首先在场景中构建一个基平面,通过拾取空间某点在基平面的投影点解算该点的三维坐标,要求待重建点在基平面的投影点可见。Sturm[14]将空间关系划分为共面性、垂直性、平行性3种,通过非线性最优求解各个平面和点。同样,James[15]和Delage[16]分别讨论了曼哈顿空间的单张三维重建,提高了算法的自动化程度,但却仅适用于曼哈顿空间的三维重建。Wang[17]在Criminise的基础上提出了具有一对平行线的任意平面重建算法,该算法要求待重建平面必须具有平行线特征。建筑物空间多以平面构成,以平面为重建单元能够更加灵活地表述建筑物模型,但平面模型单一,适用范围较窄。此外,邾继贵[18]、胡春海[19]等分别讨论了用平面镜构建对称几何实现单幅图像的量测与重建。逆求解透视过程相较于光学过程具有更高的精度,更适用于建筑物的三维重建。但现有研究多集中于现代建筑,缺少对已损或不复存在的遗存遗址的重建。
因此,本文针对单张灭失建筑物的图像,提出一种基于平面模型的单幅图像三维重建算法。利用图像中存在透视几何特性拟合灭点、标定相机、以及构建一系列平面模型解算三维点坐标;采用纹理映射替代几何细节,构建照片级真实感建筑物三维模型。

2 基于结构化场景的建筑物三维重建

目前单幅图像可以通过历史图片扫描、网络下载、报刊扫描、数码相机或手机拍摄等多种方式获取。无论何种途径获得的图像,基于单幅影像进行建筑物三维重建的图像具有以下特点：（1）待建建筑由平面构成;（2）建筑轮廓线为直线;（3）图像中存在平行、垂直、共面等几何约束;（4）忽略图像的物镜畸变。将符合上述要求的图片作为输入,依据图片质量选择自动或手动方式提取灭点直线,依据灭点与相机参数的几何关系标定相机,交互地确定建筑中各个平面的方向及位置,通过透视反投影直线与平面的交点解算建筑各个特征点的三维坐标,完成三维重建,主要流程如图1所示。
Fig.1 The flow diagram based on the structured scene for a single view building's 3D reconstruction

图1 基于结构化场景的单幅图像建筑物三维重建流程图

2.1 灭点直线提取

灭点是空间平行直线在图像上的投影线段的交点[4]。理想情况下,仅需任意2条平行直线即可确定一个灭点。获取单幅图像中的灭点直线有自动法和手动法。当图像具有较高分辨率、较强透视几何,且图像的反射强度适中、阴影和非目标景物较少时,采用自动方法,反之采用手动法。自动法分为4步：（1）利用Canny算子对图像进行边缘检测;（2）采用累积概率霍夫变换（Progressive Probability Houth Transform,PPHT）提取图像中的直线特征;（3）基于角度分离 Z 轴方向直线簇;（4）基于随机抽样一致性算法（Random Sample Consecsus,RANSAC）剔除无效直线并分组 X 、 Y 轴方向直线簇。
步骤（1）、（2）可以提取图像中的直线信息并将其转化到参数空间。如图2所示,在参数空间中, θ ∈ [ 180 ° - Δ , 180 ° ] 的直线角度,分布范围较紧密,该组直线对应于空间中 Z 方向直线。由文献[20]可知,当 0 ° ≤ Δ ≤ 15 ° 时, Z 方向直线提取效果较好。为避免 Z 轴方向直线干扰 X 、 Y 方向,步骤（3）首先依据角度性质分离出Z轴方向灭点直线。
Fig.2 The distribution of different line angles

图2 直线角度分布

仅依据角度性质,无法对 X 、 Y 方向的直线进行分组。形成灭点的图像直线簇（灭点直线簇）在参数空间中满足线性分布[20],所以步骤（4）采用RANSAC方法构建直线模型,通过2次模型构建分离 X 、 Y 方向的灭点直线,同时剔除每个方向的无
效直线,具体实现过程的伪代码如下：
图3为分组直线并剔除无效直线的结果。图中红、绿、蓝分别为 X 、 Y 、 Z 方向的灭点直线,紫色为各个方向剔除的无效直线。
Fig.3 The result of line grouping

图3 直线分组结果

2.2 灭点解算及相机标定

上述获得已分组的直线信息作为解算X、Y、Z主灭点的初始数据。以某一主灭点为例,该组灭点直线簇中任意2条直线 l i 、 l j ( i , j ∈ n ) 可以确定一个灭点。但由于透视投影畸变及随机误差的影响,同一方向的灭点直线簇往往不能相交于同一点。本文根据文献[21]、[22]利用最小距离法解算灭点。灭点直线簇 l 1 , ⋯ , l n 对应的灭点为 v p , l i ( i = 1 , n ) 与 v p 均表示为齐次坐标形式 ( u , v , w ) T ,则有式（1）：
M v p = 0 （1）
式中： M = [ l 1 , ⋯ , l n ] T , l i = [ A i , B i , C i ] T ,对应的直线方程为 A i x + b i y + C = 0 。
利用最小二乘法解上述方程,基于对向量 M v p 的模最小化,根据拉格朗日不定乘子法,灭点为对称矩阵 M T M 最小特征值的特征向量。
依据文献[13],可利用上述解算的灭点坐标解算相机参数 ( u 0 , v 0 , f , R , t ) 。像主点是透视椎体底面三角形的垂心,利用垂心定理计算 u 0 、 v 0 。投影中心到像主点的距离为焦距,利用勾股定理计算 f 。坐标系 X 、 Y 、 Z 坐标轴向量分别设定为主灭点单位向量 O V X 、 O V Y 、 O V Z ,利用坐标系变换原理,根据任意2个主灭点向量解算旋转矩阵 R 。任取2个主灭点向量 O V X 、 O V Y ,则有式（2）：
r 1 = O V X r 2 = O V Y r 3 = r 1 × r 2 （2）
式中： r i i = 1,2 , 3 为 R 第 i 个列向量。
本文无法恢复建筑物绝对尺寸,任取点 o 作为世界坐标系原点对应的图像点,则平移向量 t 满足式（3）。
λ 0 = K [ R t ] 0 0 0 1 ⇒ t = λ K - 1 o （3）
式中： λ 为比例因子,本文 λ = 1 ; K 为相机内参矩阵。

2.3 三维点坐标解算

目前大部分建筑场景都是由平面元素构成,若平面被确定,则平面上所有的信息都可以获得。以建筑场景中各个平面为参照,通过透视反投影射线与平面的交点可确定各个建筑特征点的三维信息。
假设三维空间平面 Π 用 < P , n > 表示,其中 P 为平面位置点,n为平面法向量。本文首先定义了一个位置和法向量都已知的平面（世界坐标系 XOY 平面）为基平面 Π 0 ,通过交互式地确定 Π 0 与待求平面的几何关系依次解算各个待求平面。
待求平面与基平面 Π 0 的几何关系分为平行和相交2种。
（1）平行平面重建
如图4所示,平行平面 Π i 与基平面 Π 0 的法向量平行,所以仅需确定 Π i 的位置点 P 。平行平面某点 P X , Y , Z , 1 在 Π 0 上沿 Z 轴方向的对应点为 Q X , Y , 0,1 , P 、 Q 对应的图像点为 p ( u p , v p , 1 、 q ( u q , v q , 1 。 P 、 p 与 Q 、 q 满足式（4）的投影方程。
Fig.4 The diagram of parallel plane reconstruction

图4 平行平面重建示意图

λ 0 × p = M × P λ 1 × q = M × Q （4）
式中： λ 0 、 λ 1 为比例因子; M = K [ R t ] 为投影矩阵, K 为相机内参数矩阵, R 、 t 为相机外参矩阵。
整理式（4）,消去比例因子 λ 0 、 λ 1 ,可得4个关于点 P 的线性约束,利用最小二乘法解算点 P ,确定平行平面 Π i 。
（2）相交平面重建
相交平面 Π j 与 Π 0 的交线为 L ,利用透视反投影可以解算直线 L 上任意2个点的三维坐标,将其中一点作为 Π j 的位置点 P 。利用透视几何约束求解 Π j 的法向量,主要分为2种： Π j 上存在一对平行直线对 L 1 、 L 2 ,且 L 1 ∥ L 、 L 2 ∥ L ; Π j 上存在直线 L 3 ⊥ L ,且垂足可见,如图5所示。
Fig.5 The diagram of any plane reconstruction

图5 任意平面重建示意图

空间平行直线对和其对应的图像直线对分别为 L 1 、 L 2 , l 1 、 l 2 ,投影中心 O 与直线 l 1 、 l 2 构成反投影平面 Π l 1 、 Π l 2 , Π l 1 、 Π l 2 相交于直线 L O 。由于 L 1 ∥ L 2 ,且 L 1 、 L 2 分别在平面 Π l 1 、 Π l 2 上,所以 L 1 ∥ L 2 ∥ L 0 ,则任意平面 Π a 法向量 n = L O × L 。
空间直线 L 3 ⊥ L , A 、 B 是 L 上两点, U 、 A 是 L 3 上两点。 U 与其图像点 u 满足式（5）投影方程。
λ × u = M × U （5）
又因为 L 3 ⊥ L ,所以：
AB → · UA → = 0 （6）
将式（5）、（6）联立可得到3个关于 U 的线性约束,则 Π j 的法向量 n = L 3 × L ,其中 L 3 = U × A 。
除以上2种几何约束外,还有一些几何约束可以解算相交平面,如已知相交平面上任一点三维坐标,已知任意2个点间距离,已知任意2条直线间的角度等。但这些方法都需用户输入一定的参数,交互过程复杂。
上述过程对单幅图像进行目标重建时,可得一个与目标建筑相差比例系数 s 的初始模型,若要获得与目标尺寸相同的实际模型需经 s 缩放初始模型,缩放系数 s 如式（7）所示。
s = D r D m （7）
式中： D m 为初始模型尺寸; D r 为目标真实尺寸。现存建筑 D r 可实际丈量获得,灭失建筑可参阅相关历史文献资料。

3 实验结果与分析

为验证上述方法的可行性,本文选取2种建筑进行实验。实验一为现代现存建筑,为验证该方法适用于现代现存建筑的单张重建,并将现存建筑实际尺寸作为评价参数评价本方法精度;实验二为已损建筑,为验证该方法适用于已损或不存在遗存遗址的三维重建。在实验一中还对比了自动法与手动法相机标定结果。
（1）实验一
选取某高校图书馆为重建建筑,采用相机NIKON D300S拍摄单张图像,拍摄图像如图7（a）,相机CCD尺寸23.6×15.8 mm,相机焦距20 mm,图像尺寸为4288像元×2848像元。
Fig.7 The result of the reconstructed library

图7 图书馆建筑重建结果

在本实验中,采用2种方法提取灭点直线,目的是评价2种方法解算的相机参数精度。自动法灭点直线提取结果如图6。由图6可知,本方法可较好地提取3个主方向灭点直线,并能剔除部分错误直线。2种方法的灭点计算结果及标准差（Standard Deviation,SD）见表1、2,相机焦距解算结果见表3。由于Z方向直线接近平行,使该方向直线对灭点的约束变弱,导致灭点计算结果不稳定,使表1、2中 Z 方向的标准差明显大于其他2个方向。这种情况对基于灭点的相机标定是不可避免的。在表1、2中,基于自动法解算的 X 、 Y 方向灭点的标准差低于手动法,说明提取透视形变较大的直线,自动法优于手动法。但在 Z 方向上,手动法标准差低于自动法,说明对于透视形变较小的直线提取,手动法优于自动法。就相机标定结果而言（表3）,自动法的结果优于手动法,但这不是绝对的。当图像分辨率较高、灰度差异明显,且建筑存在时间较短、建筑边线清晰时,自动法能获得较好的提取效果,得到较高精度的灭点。反之,该方法有可能得到较差的结果,甚至计算失败。因此,对于具有较高分辨率的现代建筑图像的直线提取宜采用自动法。
Fig.6 The line grouping result of the library

图6 图书馆直线分组结果

Tab.1 The result and SD of the automatic method for computing vanishing points

表1 自动法灭点计算结果与标准差

VX/像元 VY/像元 VZ/像元
x 5695.02 -2008.18 1974.29
y 2777.26 2913.39 -8404.50
SD 0.63 1.74 12.97
Tab.2 The result and SD of the manual method for computing vanishing points

表2 手动法灭点计算结果与标准差

VX/像元 VY/像元 VZ/像元
x 5665.14 -1999.87 1942.98
y 2761.56 2903.03 -8666.43
SD 1.46 3.67 8.73
Tab.3 The computing result and error of the camera focal length

表3 相机焦距计算结果与误差

真实值 计算值 误差
自动法 20.00 19.94 0.0029
手动法 20.00 19.91 0.0047
利用以上灭点计算结果解算相机内、外参数（表4）,依据平面约束计算三维点坐标,重建图书馆建筑线框图（图7（b））和模型效果图（图7（c））。在本实验中,为评价该方法的重建精度,以建筑各个角点之间的实际距离作为评价参量,通过比较模型距离和实际距离获得重建偏差。评价结果见表5,其中直线 L 1 - L 12 分布如图7（a）。真实值通过地面激光扫描获得,缩放系数 s 为直线 L 4 的真实距离与模型距离的比值。模型尺寸与真实建筑尺寸的绝对误差最小为0,最大为0.058,平均值为0.019,满足三维重建的要求。其中,位于图像边缘的直线 L 12 、 L 5 误差较大,说明物镜畸变对重建结果影响较大;由于直线 L 11 位于建筑的阴影中,直线端点的图像坐标拾取精度较低,导致该直线误差低于其他直线。另外,本文部分平面是在其他已确定平面的基础上确定的,由此造成的误差传递也是重建误差的原因之一。
Tab.4 The camera calibration result for experiment one

表4 实验一相机标定结果

内参数/像元 外参数矩阵 投影矩阵P
u0 2152.94 R= 0.68 0.240.69-0.73 0.250.63-0.02-0.940.35 t=0.230.191 P=3942.72-1284.83 680.412979.001921.821846.55-2864.792210.00 0.69 0.630.35 1.00
v0 1512.12
f 3608.83
Tab.5 The accuracy evaluation of model

表5 模型精度评价

线段 模型长度/m 实际长度/m 绝对误差
L1 38.759 38.707 0.001
L2 23.920 24.428 0.021
L3 13.937 14.212 0.019
L4 38.951 38.951 0.000
L5 24.764 25.450 0.027
L6 11.956 12.399 0.036
L7 14.859 14.038 0.058
L8 15.040 15.379 0.001
结果表明,该方法适用于现代建筑的单张三维重建,且重建精度满足三维重建的要求。在进行直线提取时应依据图像自身质量选取适当的方法。
（2）实验二
选取已损建筑四川省白鹿领报修院教堂为重建建筑,重建图片（图8（a））来源于网络,图像尺寸1691像元×1496像元,相机型号未知,焦距未知。
Fig.8 The result of the reconstructed Bailu Lingbao Seminary Church

图8 白鹿领报修院教堂建筑重建结果

教堂于2008年汶川地震中崩塌,仅存留部分墙体和地下室。礼拜堂为教堂的主体建筑,现存图像较少,且各幅图像间重叠度较低,不适用其他方法对其进行三维重建。由于该图像分辨率较低,且建筑的年代较为久远,人为破坏或自然风化导致建筑边线模糊不清,故选用手动方式提取灭点直线。重建的领报修院教堂主体建筑礼拜堂结果如图8（b）-（d）所示。
结果表明,对于已损或消失建筑的单幅图像三维重建,该方法可获得较好的重建效果,模型细节丰富,可见平面均已恢复。但相关文献缺乏,使本文仅获得了与目标建筑相差缩放系数s的初始模型。另外,图8（b）-（d）显示重建模型缺失不可见面的细节特征,这是基于平面模型的单幅图像三维重建方法不可避免的。

4 结论

本文首先提出了自动和手动2种方法提取灭点直线,自动法适用于具有较高分辨率的现存建筑的直线提取,手动法反之。采用最小距离法解算灭点,并根据透视几何完成相机标定。然后采用一种基于平面模型的三维重建算法,最后通过实验对算法进行了分析验证,并将该算法应用到遗存遗址的三维重建中。实验表明,本方法实现的现代建筑物重建精度在1.9%左右,满足目前三维重建及可视化的要求。本方法针对不同建筑采用不同的直线提取方法,可以适用多种情况的建筑物三维重建。采用基于3种平面模型策略对单幅图像中平面型建筑场景进行重建,算法结构简单,能解决某些特殊情况下的建筑三维重建问题,如仅存单张的已损或不存在的文化遗产的数字化问题。但本方法仅适用于具有平行、垂直、共面、灭点、灭线等几何约束的建筑物场景,几何细节复杂的部分（如门窗、雕花等）采用纹理映射替代。方法的重建精度很大程度上取决于灭点的解算精度,如何进一步提高灭点的解算精度是本文今后研究的内容。

The authors have declared that no competing interests exist.

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
高剑. 三维重建应用系统研究[D].济南:山东大学,2009.

[ Gao J.A research on application system of 3d reconstruction[D]. Jinan: Shandong University, 2009. ]

[2]
彭国均,池天河,唐丽玉,等.数字城市的三维图形构建技术[J]. 地球信息科学,2003,5(3):84-88.城市是一个复杂的人文与自然的复合系统，是人口、资源、环境和社会经济要素高度密集的地理综合体，数字城市是数字地球应用的一个重要方向，而数字城市的三维图形构建是数字城市建设的重要内容之一。本文从技术应用角度出发，综合多方的研究成果，简单阐述了数字城市的三维图形构建技术和基本思路。

DOI

[ Peng G J, Chi T H, Tang L Y, et al.Discussion on the technique of constructing three-dimensional graphics in digital city[J]. Geo-Information Science, 2003,5(3):84-88. ]

[3]
林珲,胡明远,陈富龙.文化遗产多源探测技术与环境重建展望[J].地球信息科学学报,2014(5):673-680.<p>从自然侵蚀到人为损毁的文化遗产研究与保护，是一项多学科综合的复杂过程。文化遗产的数字化保护已成为全球学术界和工业界关注的热点，多源探测技术与多维环境重建是文化遗产数字化保护过程中不可或缺且相辅相成的重要研究内容。首先，本文依据文化遗产所处的地理空间立体层次，将其划分为水下文化遗产、近地表文化遗产以及室内外景观遗产，并分别分析了3个不同层次的探测方法与技术；然后，从考古制图、多源异构文化遗产信息化管理、三维重建与虚拟修复、多模式展示与虚拟交互4个层面，分析了多维环境重建的相关技术方法与手段；最后，总结了文化遗产数字化保护研究可能的发展趋势为多传感器协同观测、多维数据分布式管理与共享、动态环境重建与感知、多模式交互展示。</p>

DOI

[ Lin H, Hu M Y, Chen F L.Review on multi-source detection technology and environment reconstruction of cultural heritage[J]. Journal of Geo-Information Science, 2014,5:673-680. ]

[4]
Criminisi A, Reid I, Zisserman A.Single view metrology[J]. International Journal of Computer Vision, 2000,40(2):123-148.

[5]
Horn B K.Shape from shading: A method for obtaining the shape of a smooth opaque object from one view[R]. Cambridge, MA: Massachusetts Institute of Technology, 1970.

[6]
Kawasaki H, Furukawa R.Shape reconstruction and camera self-calibration using cast shadows and scene geometries[J]. International Journal of Computer Vision, 2009,83(2):135-148.<a name="Abs1"></a>Recently, various techniques of shape reconstruction using cast shadows have been proposed. These techniques have the advantage that they can be applied to various scenes, including outdoor scenes, without using special devices. Previously proposed techniques usually require calibration of camera parameters and light source positions, and such calibration processes limit the range of application of these techniques. In this paper, we propose a method to reconstruct 3D scenes even when the camera parameters or light source positions are unknown. The technique first recovers the shape with 4-DOF indeterminacy using coplanarities obtained by cast shadows of straight edges or visible planes in a scene, and then upgrades the shape using metric constraints obtained from the geometrical constraints in the scene. In order to circumvent the need for calibrations and special devices, we propose both linear and nonlinear methods in this paper. Experiments using simulated and real images verified the effectiveness of this technique.

DOI

[7]
Saxena A, Sun M, Ng A Y.Make3d: Learning 3d scene structure from a single still image[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009,31(5):824-840.We consider the problem of estimating detailed 3D structure from a single still image of an unstructured environment. Our goal is to create 3D models that are both quantitatively accurate as well as visually pleasing. For each small homogeneous patch in the image, we use a Markov Random Field (MRF) to infer a set of "plane parameters鈥 that capture both the 3D location and 3D orientation of the patch. The MRF, trained via supervised learning, models both image depth cues as well as the relationships between different parts of the image. Other than assuming that the environment is made up of a number of small planes, our model makes no explicit assumptions about the structure of the scene; this enables the algorithm to capture much more detailed 3D structure than does prior art and also give a much richer experience in the 3D flythroughs created using image-based rendering, even for scenes with significant nonvertical structure. Using this approach, we have created qualitatively correct 3D models for 64.9 percent of 588 images downloaded from the Internet. We have also extended our model to produce large-scale 3D models from a few images.

DOI PMID

[8]
Saxena A, Chung S H, Ng A Y.3-d depth reconstruction from a single still image[J]. International Journal of Computer Vision, 2008,76(1):53-69.<a name="Abs1"></a> We consider the task of 3-d depth estimation from a single still image. We take a supervised learning approach to this problem, in which we begin by collecting a training set of monocular images (of unstructured indoor and outdoor environments which include forests, sidewalks, trees, buildings, etc.) and their corresponding ground-truth depthmaps. Then, we apply supervised learning to predict the value of the depthmap as a function of the image. Depth estimation is a challenging problem, since local features alone are insufficient to estimate depth at a point, and one needs to consider the global context of the image. Our model uses a hierarchical, multiscale Markov Random Field (MRF) that incorporates multiscale local- and global-image features, and models the depths and the relation between depths at different points in the image. We show that, even on unstructured scenes, our algorithm is frequently able to recover fairly accurate depthmaps. We further propose a model that incorporates both monocular cues and stereo (triangulation) cues, to obtain significantly more accurate depth estimates than is possible using either monocular or stereo cues alone.

DOI

[9]
Debevec P E, Taylor C J, Malik J.Modeling and rendering architecture from photographs: A hybrid geometry-and image-based approach[C]. Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques: ACM, 1996:11-20.

[10]
Guillou E, Meneveaux D, Maisel E, et al.Using vanishing points for camera calibration and coarse 3d reconstruction from a single image[J]. The Visual Computer, 2000,16(7):396-410.In this paper, we show how to calibrate a camera and to recover the geometry and the photometry (textures) of objects from a single image. The aim of this work is to make it possible walkthrough and augment reality in a 3D model reconstructed from a single image. The calibration step does not need any calibration target and makes only four assumptions: (1) the single image contains at least two vanishing points, (2) the length (in 3D space) of one line segment (for determining the translation vector) in the image is known, (3) the principle point is the center of the image, and (4) the aspect ratio is fixed by the user. Each vanishing point is determined from a set of parallel lines. These vanishing points help determine a 3D world coordinate system R o . After having computed the focal length, the rotation matrix and the translation vector are evaluated in turn for describing the rigid motion between R o and the camera coordinate system R c . Next, the reconstruction step consists in placing, rotating, scaling, and translating a rectangular 3D box that must fit at best with the potential objects within the scene as seen through the single image. With each face of a rectangular box, a texture that may contain holes due to invisible parts of certain objects is assigned. We show how the textures are extracted and how these holes are located and filled. Our method has been applied to various real images (pictures scanned from books, photographs) and synthetic images.

DOI

[11]
王茹,周明全,耿国华.基于二维透视图像的建筑物基本体素三维重建[J].计算机应用与软件,2009,26(9):7-9.根据建筑物由基本体素构成的特点，研究从一幅简单建筑物二维图像中重建三维图形的方法。利用 透视原理，通过从建筑物二维影像中抽取三维几何信息，分析透视几何图形与体素之间的关系，重建基本体素的三维坐标，在三维空间中重新构建建筑物外形。并利 用VLISP在AutoCAD中实现。

DOI

[ Wang R, Zhou M Q, Geng G H.3D reconstruction of architecture's basic element based on 2d perspective image[J]. Computer Applications and Software, 2009,26(9):7-9. ]

[12]
Payne B R, Lay J F, Hitz M A.Automatic 3d object reconstruction from a single image[C]. Proceedings of the 2014 ACM Southeast Regional Conference: ACM, 2014,31.

[13]
Garcia-Gago J, Gomez-Lahoz J, Rodríguez-Méndez J, et al.Historical single image-based modeling: The case of Gobierna Tower, Zamora (Spain)[J]. Remote Sensing, 2014,6(2):1085-1101.Historical perspective images have been proved to be very useful to properly provide a dimensional analysis of buildings fa莽ades or even to generate a pseudo-3D reconstruction based on rectified images of the whole structure. In this paper, the case of Gobierna Tower (Zamora, Spain) is analyzed from a historical single image-based modeling approach. In particular, a bottom-up approach, which takes advantage from the perspective of the image, the existence of the three vanishing points and the usual geometric constraints (i.e., planarity, orthogonality, and parallelism) is applied for the dimensional analysis of a destroyed historical building. Results were compared with ground truth measurements existing in a historical topographical surveying obtaining deviations of about 1%.

DOI

[14]
Sturm P, Maybank S.A method for interactive 3d reconstruction of piecewise planar objects from single images[C]. The 10th British Machine Vision Conference (BMVC'99): The British Machine Vision Association (BMVA), 1999:265-274.

[15]
Coughlan J M, Yuille A L.Manhattan world: Compass direction from a single image by bayesian inference[C]. Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999:941-947.

[16]
Delage E, Lee H, Ng A Y.Automatic single-image 3d reconstructions of indoor manhattan world scenes[M]. Robotics Research. Berlin: Springer Berlin Heidelberg, 2007:305-321.

[17]
Wang G, Tsui H-T, Hu Z, et al.Camera calibration and 3d reconstruction from a single view based on scene constraints[J]. Image and Vision Computing, 2005,23(3):311-323.This paper mainly focuses on the problem of camera calibration and 3D reconstruction from a single view of structured scene. It is well known that three constraints on the intrinsic parameters of a camera can be obtained from the vanishing points of three mutually orthogonal directions. However, there usually exist one or several pairs of line segments, which are mutually orthogonal and lie in the pencil of planes defined by two of the vanishing directions in the structured scenes. It is proved in this paper that a new independent constraint to the image of the absolute conic can be obtained if the pair of line segments is of equal length or with known length ratio in space. The constraint is further studied both in terms of the vanishing points and the images of circular points. Hence, four independent constraints on a camera are obtained from one image, and the camera can be calibrated under the widely accepted assumption of zero-skew. This paper also presents a simple method for the recovery of camera extrinsic parameters and projection matrix with respect to a given world coordinate system. Furthermore, several methods are presented to estimate the positions and poses of space planar surfaces from the recovered projection matrix and scene constraints. Thus, a scene structure can be reconstructed by combining the planar patches. Extensive experiments on simulated data and real images, as well as a comparative test with other methods in the literature, validate our proposed methods.

DOI

[18]
邾继贵,李艳军,叶声华,等.单摄像机虚拟立体视觉测量技术研究[J].光学学报,2005,25(7):943-948.以双目立体视觉传感器三维测量模型为基础,提出了一种用于测量空 间三维点坐标的低成本单摄像机模型.该模型利用光学成像,把单摄像机镜像为一对虚拟摄像机,在一个CCD像面上采集到同一物体存在视差的两幅图像,从而恢 复空间点的三维信息.讨论了单摄像机传感器测量空间三维点坐标的基本原理,建立了单摄像机传感器的测量模型,克服了双摄像机系统中成本高、切换采集左右摄 像机的图像使检测速度减慢等诸多缺陷,为空间三维点的精密测量提供了经济、快速、有效的测量途径.实验表明,传感器可实现约0.8%的相对测量精度,证明 了本方案合理、有效.

DOI

[ Zhu J G, Li Y J, Ye S H, et al.Study on single camera simulating stereo vision·measurement technology[J]. Acta Optica Sinica, 2005,25(7):943-948. ]

[19]
胡春海,刘斌.基于镜像几何约束的单摄像机三维重构[J].中国激光,2010(10):2576-2581.采用带有正八边形标记点的平面镜和单目CCD相机对空间物体进行三维重构。依据镜像对称几何学原理,利用空间物体与其在平面镜中的像构建镜像对称结构。镜像对称物体的单幅透视图几何等价于对称视点下的两幅视图,它们相差一个反射变换,并且具有自极几何对应性。平面镜不仅是对称面,而且还被当作标定平面,并利用灭点约束下的正八边形标记点计算相机外参矩阵。实验验证了该方法的有效性,给出三维重构结果,总结了其优势和局限性。其中设计的正八边形稀疏标记点同时具有正交性和平行性的几何约束,为现场标定相机外参数提供了一种新的解决方案。

DOI

[ Hu C H, Liu B.Three-dimensional reconstruction method using single CCD based on geometric constraint of bilateral symmetry[J]. Chinese Journal of Lasers, 2010,10:2576-2581. ]

[20]
张桂梅,储珺,王丽.利用直线参数信息的建筑物灭点检测方法[J].计算机应用,2013,33(2):515-538.<html dir="ltr"><head><title></title></head><body>针对现有的灭点检测方法未充分利用产生灭点的直线的参数信息，导致检测精度较低、计算量较大等问题，提出了一种利用直线参数信息的稳健灭点检测算法。首先采用Canny算子和Hough变换相结合的方法提取出建筑物图像中较长的稀疏直线，通过分析直线的参数信息，对不同方向直线进行聚类，并证明了各方向的直线参数满足线性分布关系;然后利用稳健回归算法建立直线参数的线性模型，并据此去除外点，获得产生有效候选灭点的有效直线束;最后根据有效直线束计算曼哈顿方向的最优灭点。实验结果表明，所提的灭点检测算法应用于规则建筑物图像的摄像机标定时，焦距的平均误差为1.05像素。</body></html>

DOI

[ Zhang G M, Chu J, Wang L.Building's vanishing points detection method with line parameter information[J]. Journal of Computer Applications, 2013,33(2):515-538. ]

[21]
Cipolla R, Robertson D.3D models of architectural scenes from uncalibrated images and vanishing points[C]. Proceedings of the IEEE International Conference on Image Analysis and Processing, 1999:824-829.

[22]
刘亚文. 利用数码像机进行房产测量与建筑物的精细三维重建[D].武汉:武汉大学,2006.

[ Liu Y W.Real estate measuring and 3d building fine reconstrution based on digital camera[D]. Wuhan: Wuhan University, 2006. ]

Options
文章导航

/

〈 〉