操控数码照片，填补隐而不见的部分，可拥有广泛的实际应用，包括从家具设计到事故现场重现等。
照片中是一张翻倒的椅子（上左），如何通过数字化手段将椅子扶正（上右）？实验中的软件使用一个数字化3D模型（中左）捕捉其几何形状和外观，尝试令虚拟模型与实际椅子相匹配起来（中右）。用户根据要求输入修正数据，以达准确对齐的目的。在用模型代替了实际椅子（下左），并做了其他估计之后，软件就可以向任何方向旋转椅子（下右）
一些照片编辑应用软件，如Photoshop，在摄影爱好者群体中广泛应用。Photoshop可让普通用户超越摄影取景范围的限制，提供特殊手段改变图像的颜色、移动像素、将人工元素结合进自然摄影照片中。通过这类手段，极大地扩展了用户表达和发挥想象力的能力。
然而，传统的图片编辑应用软件在很大程度上还只能局限于图像场景的二维视图，如照片中跌倒在地板上的一把椅子，不能通过图片编辑处理手段将它从地板上扶正，翻转过来，重新安放在沙发旁边。物体的三维特性对于人类来说是一种直观体验，因为我们有着接触并了解3D物体特性的人生经验。但一般的照片编辑软件却缺乏对隐藏在表象之下看不见的3D元素的相关认知，如图片场景中对象看不到部分的几何形状和色彩，相机能够捕捉并反映在照片上的只有二维像素。
要想获得对象的3D特性，方法之一是使用计算机辅助设计（CAD）软件，模拟物体的形态和场景中光线的明暗对比。但这是一个很难解决的问题，表面凹凸不平的羊毛沙发套、靠垫上的皱褶、茶几上的污渍、扶手椅的弯曲度，还有地毯上的纹理、花瓶的华丽色彩、窗外防护网上的磨损痕迹，以及窗外树上的不同形态的片片叶子，可以想象复制重现房间里所有生活中细节的难度！诚然，模拟3D视觉效果的公司能够重新创建出整个场景的特殊立体效果，但他们也需要通过庞大的专家团队、多任务的分工合作，以及专门的设备来实现，普通用户只能望洋兴叹了。
新的3D模拟软件的目标是要为用户提供完整的3D控制，重点是如何自动推断出与照片中现场图景中对象相关部分背后的三维结构。例如，要将照片中翻转的椅子扶正，软件需要推断椅子和地面接触部分的三维结构，包括椅子隐而不见的各个表面，让用户可以“看见”椅子隐藏的部分，以及与隐藏部分相应的阴影和明暗光线效果。
与照片中对象隐藏部分匹配的3D背景可以有许多选择。以椅子图片为例，可以是如图中拥有光滑纤维材质的椅子，也可以是蜂窝布表面的椅子，并且还可以是转拍自另一张图片的照片。软件需要推断出对于人类直觉来说最合理的场景，首先要具备对图片中对象的实际操控功能。
数据库3D模型：人生经验代理者
用户可对摄影图片进行多种3D操作，如：翻转对象，发现它们隐藏的部分（上），进行复制和变形操作，创建一些特技效果，如悬浮在半空中的水里（从上往下第二张图）；或改变对象用途，如将一顶大礼帽变成一顶魔术师的帽子（从上往下第三张图）；用户还可以对画作进行修改，例如法国画家奥迪隆·雷东1901的静物画（倒数第二张图)；甚至还可以对一些历史照片上的对象进行操作，如二次大战中“复仇者”式鱼雷轰炸机编队的照片（下）
即使信息本身不完整，人类通过日常生活中丰富的常识或经验，也可以即刻想象出照片中对象完整的三维结构和颜色。我们知道这张椅子还有图中看不到的第四条椅子腿，也能想象到椅子座位背面的样子等。如果软件能成为人类经验的代理者，它就可以解决这个问题，让用户对图片中的对象进行一些操作。
幸运的是，大型公共数据库的3D模型可以作为我们人生经验的代理者。3D模型可通过数学形式描述某个对象的几何形状和外观。例如，一张白色靠墙桌的3D模型标有这个白色长方体的桌腿和桌面的详细尺寸。3D图片库和Turbosquid图形工作室（世界知名的3D建模团队）等网站都提供有大量3D模型，如家具、车辆、建筑地标、家居用品、玩具、电子设备、植物和动物等。通过将某个物体的3D模型代入照片中，软件就可以为用户提供对象的3D控制功能。
使用三维模型的方法之一是“抹去”图片中的对象，用3D模型代入。Photoshop有一个叫做“内容感知填充（Content-Aware）”的功能，可自动侦测圈选内容，自动对周围材质运算后进行填补，将背景中的像素加入对象；对象插入功能可允许用户将3D模型插入各种图片中，允许用户手动创建阴影或自动生成插入对象的虚拟阴影。伊利诺伊大学香槟分校的大卫·福赛斯（David Forsyth）和他的同事正在对最后一种方法进行探研。
但对象插入法不适合对象的修改。当3D模型叠加到图片中椅子上时，几何图形可能不会完全重合，色彩深浅也会有很大区别。此外，三维模型不能提供光线效果的相关信息。要完全精确替代图中的对象，图形对象处理软件需要对3D模型的几何形状进行修改，推断出光线投影产生的阴影和明暗对比，对模型对象的外观进行完善，以与图片中的对象完全相匹配。
人们可能会说，既然3D模型不匹配，那就应该寻找完全匹配的3D模型，但事实上，3D模型与实际对象之间的不匹配现象是很普遍的。不可能为每一个实例找到完全匹配的三维模型，例如，一根香蕉。此外，一些网上3D图库中的模型的设计者可能无法获得对象的精确规格尺寸。在某些情况下，一个与拍摄对象相近的3D模型可能就相当不错了。
摄影师捕捉图像时往往会按照自己的想法调整相机、拍摄对象和场景光线之间的关系，如果3D模型改变了拍摄对象的结构或外观，有可能会偏离摄影师的初衷。软件的目的是，为用户对图片中对象的方向和位置进行调整提供全面直观控制能力的同时，保持拍摄元素的原始特征。另外，如果摄影师想要创建对象的一个动画画面，例如，通过一张简单的纸鹤照片，创建一幅翩翩飞鹤的动画图片，一个不够精确的3D模型产生的图像与原始照片将会格格不入，无法提供一个自然流畅的转换。
外观设计与光线模拟：创建真实感的明暗光线和阴影
软件可展示照片背景环境中从各个角度到达拍摄对象的光量（a），将光线图作用于拍摄对象，可产生阴影，如c中所示。用光点代表的不同方向球形内核（b、e、f）创建出一个方向正好相反的阴影（d、g、h），软件通过结合这几个球形的数据，将各个方向的光影效果结合在一起，估算和创建出现场的光线阴影图
3D建模软件首先将三维模型的几何轮廓与拍摄对象进行匹配。用户将3D模型加载到应用程序，并提供拍摄对象与3D模型之间从二维到三维转换的相一致之处，引导软件确认拍摄对象每个元素的参考标志。有了这些标志，软件可通过瑞士洛桑联邦理工大学的帕斯卡·弗瓦（Pascal Fua）和他的同事开发的一种叫做“透视n点”的算法，对三维模型在场景中的位置和方向进行评估，通过软件系统的算法确定3D模型的旋转和叠加，让3D模型和2D摄影图片的相对应部分达到最佳匹配。
接下来，用户移动叠加3D模型上的参与点与2D摄影对象的轮廓对齐。软件通过优化操作，确定3D模型与用户提供2D图片上各点的最佳匹配方案，同时保持3D模型的对称度和平滑度。许多对象，如椅子、桌子、车辆、灯具、填充玩具和动物等，都有对称的主平面，被称为“双边平面”。优化程序可确保3D模型在通过两维平面形状发生变化时，原始3D模型上的各个对称的点要继续保持对称。优化程序还可确保用户每移动一个点，与它相邻的点也会做出相应的移动，以保持3D模型的平滑度。
在几何图形达成一致后，软件可开始设计3D环境背景下的光线明暗和阴影“地图”。图中用球形来表示在3D背景下从各个方向抵达现场的光量。较浅区域代表较为强烈的光源，如房间墙上的荧光灯；黑暗区域代表较弱的光源或没有光源。中等强度的光源代表反射在白色墙壁上的光线。环境地图应用于场景中的对象和背景，可令拍摄照片产生逼真的光线明弱和阴影效果。
光照环境地图是软件通过一组叫做von Mises-Fisher的内核探查照片背景产生的，8个球形以不同的方向和角度旋转获得代表光量强弱的内核。例如，图中第一个内核探测右边对象的光量，或在其左边产生阴影的浓重程度。最后一个内核探测的是对象背后的光量或其前面阴影的强弱。通过对探测结果的综合分析，软件可自动进行推导，例如，如果椅子下面阴影浓重，说明椅子上方存在有强烈的光源。
这一次，我们同样可以利用优化程序来确定环境光线与照片中对象的关系。为优化光线效果，软件还额外提供了对象不受光线影响并且无阴影的外观和真正色彩。为全方位地提供场景中对象的3D控制，软件需要完成对象隐藏部分的外观设计，如此软件才可以将3D光线效果作用于对象，不管显示出来的是物体对象的哪个隐藏部位，都能够产生看上去极具真实感的光线明暗和阴影效果。
软件可利用物体的对称性给出包括隐藏部分在内的对象的完整外形，例如，椅子左边与椅子右边是完全对称的，虽然椅子背面与其他任何部分都不是完全对称，但与椅子正面大致对称。人类可以相当准确地辨别精确对称与大致对称之间的区别。软件首先对对象的大部分对称平面进行评估，包括精确对称和大致对称，然后将可见部分的平面形状代入相应的对称部分，通过修正最后达到预期效果。
3D之舞：旋转和翻转等
软件在完成对象的外观设计后，系统就具备了进行一些其他操作的条件，如实现3D图像的旋转、平移、变形和复制粘贴等；又如操纵对象创建因汽车侧翻而造成的交通堵塞的场景，或让画面中的水果悬浮在半空中等；如果用户愿意，甚至还可以控制改变物体的用途性质，如将一顶大礼帽变成魔术师的帽子；用户还可以通过非摄影手段操纵对象，如在一些绘画作品或反映历史场景的照片上对目的对象进行操作；利用3D建模软件可制作动画的功能，用户可充分发挥他们的创造力和想象力，如让静态画面中的纸鹤变身为翩翩起舞的飞鹤。
我们可以预测，3D建模软件为更多实际应用开辟了新的可能。例如，对事故现场或犯罪现场的真实模拟等，软件还可以帮助家具的设计和布置，甚至对于医学上的器官重建手术也有很大帮助，软件还可以帮助用户直接打印出照片中对象的3D图片。
资料来源American Scientist
责任编辑 彦 隐