计算摄影学及本专栏介绍

晒特

本文同步发表在我的微信公众号“计算摄影学”，欢迎扫码关注


一. 计算摄影学介绍

既然你已经打开了这篇文章，我想你一定是对计算摄影学非常好奇。计算摄影是什么？它跟数字图像处理有什么区别？跟现在大火的计算机视觉有什么区别？跟传统的摄影有什么区别？ 我希望这篇文章能部分解答你的疑问。
二. 计算摄影是什么？

百度翻译后的维基百科这样说： “计算摄影是指使用数字计算而不是光学处理的数字图像捕获和处理技术。计算摄影可以提高照相机的能力，或者引入基于胶片的摄影根本不可能的特征，或者降低照相机元件的成本或尺寸。计算摄影的实例包括数字全景图的照相机内计算、高动态范围图像和光场照相机。光场照相机使用新的光学元件来捕获三维场景信息，然后这些三维场景信息可以用于产生3D图像、增强的景深和选择性去聚焦(或“后聚焦”)。增强的景深减少了对机械聚焦系统的需要。所有这些特征都使用计算成像技术。”
上面的这一大段话，对于初次接触的人来讲，显得非常的晦涩。而实际上，正如下图所示，计算摄影是计算机图形学，计算机视觉，光学和传感器等领域的交叉学科，而且在很多领域都有重要的应用。[以下的插图和视频若不加特别说明都引用自[1]，CMU  2017年秋季的计算摄影学课程讲义。]



计算摄影学是交叉学科

让我们先从摄影讲起。传统的摄影由如下图所示三个部分组成，其中光学器件用于将入射光汇聚到胶片上，胶片感光，最后在暗室内通过化学手段最终成像。


到了数码摄影时代，传感器代替了胶片，而机身处理器代替了暗室，就像下图所示：


而到了我们现在所讲的计算摄影的领域，上述每一个组件都可以有新的形态。例如，我们可以用强大的图像算法，对传感器所获取的信息做任意的处理，得到丰富多彩的效果


这里的典型应用有：

• 图像风格化
  

• HDR
  

• 图像融合
  

• 自动图像拼接
  

• 大规模图像数据集信息挖掘
  

Mining Time-Lapse Videos
https://www.zhihu.com/video/1053084782954688512
我们不仅仅可以利用强大的图像算法来做图像的处理，还可以对光学部分做革命性的更新，如下图所示：


这里，光场相机以及现在大家已经大规模接受的手机双摄像头都是典型的应用，利用这两者都可以实现拍照后对焦，模拟单反浅景深等效果



有人甚至提出了可以取消掉光学系统中的镜头，创造所谓的FlatCam：



从传感器的角度讲，传统摄影时，不管是胶片还是普通传感器，都是为了获取可见光，而在计算摄影的领域，传感器也可以有新的变化。例如，微软出的Kinect就是典型的TOF相机，用于获取场景的深度。Iphone X所用的前置摄像头则采用了激光散斑结构光技术，也是为了获取精确的人脸三维数据。
所以总结起来，相比传统的摄影，计算摄影可以从光学、传感器、图像处理等方方面面加以变化，实现很多传统摄影根本无法想象的效果。



再给大家看一个神奇的视频：利用计算摄影技术，我们甚至能够透过墙壁看到背后的物体。

How to see around corners
https://www.zhihu.com/video/1053079988860973056

三. 这个专栏的主要目标

我本人的工作恰好属于这个领域。在过去的几年，我参与了公司多个基于计算摄影学技术的产品的研发和技术管理工作，主要集中在利用手机上的双摄像头来完成一系列功能，例如浅景深虚化，夜景增强，光学变焦等等，其中浅景深虚化已经在多个手机平台上达到了量产，包括最近某大厂发布的产品。我带领的团队完成了从移动设备上的双摄像头的大规模标定生产制造，到立体匹配三维重建，到浅景深图像渲染的整个过程。


正是因为工作在这个领域，我发现这方面的人才非常的分散和缺乏，而另一方面又有很多人对这个领域很感兴趣，特别是很多偏工程师背景的朋友。然而虽然现在国内有很多计算机视觉、计算机图形学方面的书籍，但专门的系统性谈计算摄影学这个领域的资料却不够多，而且比较分散，同时还存在着很难让工程师背景的朋友看懂的问题。
恰好出于实际做产品的需要，相比纯算法研究人员，我对培养、指导有工程背景的人才更感兴趣.  在我的领导兼挚友谢边的建议和支持下，我在公司组织了大规模的计算摄影学课程学习，除了公司内专门做图像视觉算法的同事，很多非算法同事，甚至非研发同事都参与了此课程的学习，取得了不错的成果。我很希望能够将这些有用的基础性的知识传递给更多的人，因此，我申请了这个专栏，希望能够以国外著名大学的计算摄影学课程讲义为基础，再加上自己对其中所讲述的内容的Python Notebook仿真，来撰写一系列的文章。这样可以帮助读者即能够掌握计算摄影学所必须的理论知识，也能够理论联系实际，搞清楚公式和实际代码的联系。如果你看了这些文章能够得到一些启发，甚至开发出新的有趣的应用和产品，那是更好不过。如果有在这个领域进行过学习甚至有实际经验的朋友愿意加入到我所在的公司和我共事，那更加是欢迎。
我的计划是以CMU的2017年秋季的计算摄影学课程15-463为主线来撰写专栏，必要时再参考如下的一些资料：

• Computational Imaging and Display (Gordon       Wetzstein, Stanford)
  
• Computational Photography (Derek       Hoiem, UIUC)
  
• Computational Photography (James       Hays, Brown)
  
• Computational Photography (Ramesh       Raskar and Jack Tumblin, SIGGRAPH course)
  
• Digital and Computational       Photography (Fredo Durand, MIT)
  
• Introduction to       Computational Photography (Oliver Cossairt, Northwestern)
  
• Introduction to Visual       Computing (Kyros Kutulakos, University of Toronto)
  
• Visual Computing Systems (Kayvon       Fatahalian, CMU)
  

我希望我并不只是简单的翻译讲义，而是加入自己的解读，甚至自己用Python做的仿真实验，基本上，我会以每1~2周1课的速度来发布专栏文章，这样刚好留给尝鲜的读者足够的时间来消化一节讲义的所有内容。
如果你对我的文章感兴趣，觉得有用，请给我点赞，谢谢！
参考资料：
[1] CMU 2017 Fall Computational Photography Course 15-463, Lecture 1
另外，文中的视频均从Youtube下载。

早上下午

期待更新！

心痒痒

中文几乎查不到计算摄影学的资料…感谢您的分享

风吹无痕

计算机视觉:算法与应用这本书中文版讲了很多

非常六加一

忍不住简单评论几句。flatcam这篇文章早在80年代就有coded aperture (mura pattern) 的工作以用于天文成像，本质与小孔成像无异。kinect一代是散斑结构光二代是tof。建议介绍tof的一些应用时也可以加上imaging through scattering media的一些应用（不过工业界可能不感兴趣了）。另外据文中的关键词贵公司的产品主要是在软件算法的开发，与硬件设计貌似没有太多联系，以我浅薄的认识计算摄影领域的大部分文章也许不太适用吧。

艾美人体工学

谢谢，我之后在撰写时会参考你的意见。 我们虽然做很多算法方面工作，但软件离不开硬件，尤其是相机的各种类型，参数，与系统其他软硬件组成部分的交互等等，都需要考虑在内。

世界多么完美

我是做电磁逆散射的，也可以说是computational imaging，看到这个觉得挺有意思的。虽然你们用的是几何光学，我用的是波动场，最终数学模型都会回归到求解一个线性或非线性的逆问题，本质上都是一样的。

盘石

是的，这套课程有一节是傅立叶光学，在我撰写时希望得到你的指点

暮然回首已过千年

不敢不敢，您过奖了，期待后面的内容

怡朵宸

哪家公司？