标签归档：Covariance tracing

关于离线渲染有哪些资料可以推荐的？

这是回答知乎上的一个问题，贴在这里做个记录。

关于离线渲染最近最全面的Survey可能是Per H. Christensen和Wojciech Jarosz 2016年的：https://www.cs.dartmouth.edu/~wjarosz/publications/christensen16path.html

我针对其中的一些重要内容做点说明，同时考虑到这篇Survey是偏工业运用的，我再补充一点处于研究性质的一些热点新技术。由于这方面资料几乎都是论文为主，我说些相应概念和技术名称，可以对照阅读相关主题的论文。分两个部分：

首先，工业运用中的主流技术，这方面包括Pixar的RenderMan，Disney的Hyperion以及Weta的Manuka等渲染器，主流当然还是CPU渲染，几个比较突出的技术包括：

  • VCM/UPS：由于BPT的缺点是不能处理SDS（specular-diffuse-specular）路径，PM的缺点是处理diffuse表面不如BPT，2012年的VCM/UPS（Vertex connection merging/Unified path sampling）算法是一个很大的突破，它开始尝试将BPT和PM结合起来，使用PM对light subpath采样，并且将算法统一到BPT中，这样BPT就可以有效处理SDS。近几年中VCM/UPS几乎成了现在主流的离线渲染解决方案（参见The Path to Path-Traced Movies这篇论文）；当然，VCM/UPS的缺点是，因为它仍然是BPT的思路，eye subpath并不知道light subpath的情况，所以尽管它能处理SDS，但是两个subpath连接的时候形成的很多full path由于可见性（尤其对于复杂visibility的场景）而对光照贡献率很低，而MLT则很擅长处理Visibility的问题，所以Robust Light Transport Simulation via Metropolized Bidirectional Estimators这篇论文就基于VCM/UPS来使用MLT对light subpath进行采样，这样保证了两个subpath之间的连接更符合最终图像分布。这篇论文也就同时把BPT，PM和MLT三大基础算法组合在了一起! 不过目前MLT方法在工业中运用还不多。
  • 光线排序和连贯性：由于光线传输的随意性使得其并不能利用硬件的指令执行模型以及缓存系统，所以考虑光线的连贯性或者对光线进行排序是能够大大提升路径追踪效率的方法，这方面，基于连贯性（coherence）的路径追踪技术将这些数据分组成一些小的数据包，称为光线包（ray packet），这些数据包包含多个内存相邻的数据，并能能够被同一个指令执行。传统的基于光线包的技术主要是针对主要光线（Primary rays），即摄像机向场景发射出的光线，之后的光线可能向场景随处发射，并且对性能影响更大。2013年，迪斯尼的Christian Eisenacher等在一篇名为《sorted deferred shading for production path tracing》的论文中提出了一种改进方法，这种方法的核心思想是在实际计算之前对光线进行排序，这是Disney的In-house渲染器Hyperion的重要组成部分，这些技术最早用于《超能陆战队》当中。
  • 降噪技术：由于蒙特卡洛方法带来的方差，使得需要增加4倍的采样数量才能换来2倍的方差减少，所以每像素采样数是制约路径渲染器性能的重要因素。然而，光增加采样数量并不能有效的解决噪点问题，因为图像的噪点分部通常是不均匀的，所以我们非常渴望能够在方差更大的区域放置更多的采样，这样能够更有效的减少方差，从而在少量的spp条件下获得非常高的图像质量。降噪技术是目前工业当中非常重要的部分，《疯狂动物城》《海底总动员2》这些没有一部不是严重依赖于降噪技术。降噪技术的核心是适应性采样和适应性重建，这些技术将采样的过程分成过个迭代的过程，每次对采样结果进行误差分析，根据误差分布来得出一个采样分布图，用于在下一迭代中在方差更大的地方放置更多的采样。降噪技术主要有两大类方法：基于路径空间的方法，这类方法直接对路径采样的过程进行跟踪，比如使用频率域分析或者微分分析等，由于计算量比较大，工业中主要使用第二种基于图像空间的方法，这方面的核心人物是Fabrice Rousselle。

其次，处于研究中的一些热点技术：传统的蒙特卡洛方法中每个抽样之间是独立的，它并不能有效辨识这种频率变化特征，要想能够辨识图像的分布特征，我们需要了解每个路径的局部特征，即我们要考虑光线之间的相关性，这可以从多个层面改善路径追踪算法的效率。以下举几种热点技术：

  • 频率域分析：这类技术在光线追踪的过程中，还同时跟踪一条该光线（称为中心光线）对应的一个局部光照场（Local Light Field），这其实是一个像素范围内的空间-方法-时间（spatial-direction-temporal）分布，这个分布会随着光线的传输过程变化，例如表面的BRDF反射，直线传播，阴影遮挡等，如果能够跟踪这个分布的变化，就能够有效地分析图像的一些局部特征。这可以用来实现纹理过滤，适应性采样和适应性重建等很多有用的运用。频率域分析当前比较高效的实现是协方差追踪，它用一个椭圆形的高斯分布来进行这个局部光照场的分布，而这个椭圆形高斯分布可以用该局部光照场的协方差矩阵来表示，这方面的核心人物是Frédo Durand和Laurent Belcour等。
  • 流形/微分几何：流形探索技术的思路是利用费马原理能够非常有效地寻找光泽路径，它主要用于MLT中用于寻找镜面，光泽路径，但是它不能成为一种独立采样算法，因为流形探索依赖于一条已有路径；另外，流形探索在Weta还被用于在漫反射顶点处计算透过光泽的半透明体直达光源的“直接光源”计算，因此渲染焦散效果，层表面散射非常有效。这方面的核心人物是PBRT的作者之一Wenzel Jakob等。
  • 梯度域渲染：梯度域渲染技术也是与具体采样算法相对独立，可以是传统的PT，BPT或MLT，它通过在已有路径上计算梯度来提供图像的高频部分信息，最后通过泊松方程重建图像，传统的蒙特卡洛算法善于对低频部分进行采样，而筛选泊松方程的实质是梯度场充当了高频区域的采样，所以同样同等采样算法和采样数下渲染质量高得多。

以上只是些相对重要和热门的技术，当然不是全部，这些内容都会在THEGIBOOK 中探讨。

聊聊最近几年的路径追踪技术的进展（一）

(注：本文是对《全局光照技术：从离线到实时渲染》一书中路径追踪技术相关内容的一些高度概括和总结，本文仅讨论概念和思路，详细的内容请参考原书相关章节内容，转载请注明源自：http://www.thegibook.com)

路径追踪技术（Path tracing，PT）已经是当下工业中离线渲染使用的主流技术，不管是商业渲染器如皮克斯的RenderMan，Solid Angle的Arnold等，还是迪士尼的in-house渲染器Hyperion以及Weta Digital的Manuka都是基于路径追踪技术。路径追踪算法非常简单，它首先将光照方程表述为面积积分的形式，然后一束光线从光源经过各个物体表面及内部多次交互（反射，折射，散射）后进入图像平面的贡献值（即辐射照度）被转换为这些表面交互点形成的路径的一个积分，其被积函数为这些表面的双向散射系数（BSDF），顶点之间的积分变量变化（change of variables）以及顶点之间可见性的乘积。在统计中，积分可以很简单地使用蒙特卡洛方法进行估计，因此光照传输的问题就转化为对场景进行路径采样，然后对每条路径的贡献值进行平均求和的蒙特卡洛积分计算。

尽管自基本的路径追踪算法被提出以来，各种增强改进的方法被整合进来，然而上述路径追踪技术的“基础架构”几乎没有多少实质性的变化。对于任何行业，工业中主流的技术一般不是当下最先进的技术，而是最成熟可工业化的方案，当前工业中的路径追踪技术优化主要集中在优化算法的执行效率，主要是针对处理器硬件架构进行优化，例如针对缓存系统的优化，增强数据局部性和指令局部性，以及改进光线连贯性（ray coherence）使其能够利用SIMD指令进行高效计算等，这方面比较突出的是迪士尼的Hyperion渲染器，一些渲染器的优化更是几乎能达到某些场景复杂度范围内实时渲染，例如Embree。

然而以上这些内容却不是本文关注的重点（上述内容会在thegibook中详细讨论），本文我们要讨论的是一些路径追踪算法基础架构层面的改进，这些算法还很少出现在当前工业解决方案中，但是确实未来的重要发展趋势。

传统的路径追踪算法是一个单纯的积分问题，因此可以使用蒙特卡洛方法来估计，然而蒙特卡洛方法的每个抽样是独立的，因此很难有效快速对一些比较困难的路径进行采样，一些很难被采样的路径需要巨量的采样数才能达到“令人满意”的结果，这导致非常缓慢的收敛速度。尽管开始的收敛速度非常快（4倍采样数量可以减少1/2的误差），但是越到后面会花费更多倍的时间。传统的方差缩减技术如重要性采样，分层采样，拟蒙特卡洛方法（Quasi-Monte Carlo）仍然不能改变这个收敛速度。

要提升蒙特卡洛估计的收敛速度，直观上，我们需要能够辨识每个图像的分布特征，然后在一些高频变化区域增加采样的密度。然而，传统的蒙特卡洛方法中每个抽样之间是独立的，它并不能有效辨识这种频率变化特征，尽管梅特波利斯光照传输（Metropolis light transport，MLT）通过采样点之间的相关性能够寻找一些困难路径，本质上它仍然并不善于处理和分析频率域特征。要想能够辨识图像的分布特征，我们需要了解每个路径的局部特征，即是我们需要对路径追踪算法引入微分运算。路径的微分涉及路径与附近局部范围内光线的差值，即图像的局部特征，因此它引入了光线之间的相关性，可以从多个层面改善路径追踪算法的效率（也正是如此，我们认为这是近几年路径追踪技术领域的重大进展）。

最近几年路径追踪领域的一些重大进展正是微分几何（differential geometry）的引入，由于微分反应的是流形（manifold）的局部变化，因此非常善于寻找图像分布中的高频部分，目前路径追踪算法中的微分运用主要包括：以通过计算纹理过滤函数实现反走样的光线/路径微分（ray/path differential）和协方差追踪技术（covariance tracing）；以通过计算梯度图像用于利用筛选泊松方程（Screened Poisson equation）重建目标图像的梯度域渲染（gradient-domain rendering）；以及通过将微分几何结合费马定理（Fermat principle）用来寻找镜面/光泽路径的流形探索（manifold exploration），半矢量空间光照传输（half vector space light transport）等技术；此外，微分还被用于适配性采样（adaptive sampling），成为重要的降噪技术（Denoising）。

以下我们就来从概念和思路上分析上述这些技术，当然我们可以提前知道的这些技术的一个重要共同点就是：这些微分计算通常不需要通过光线追踪引入新的采样点，否则那样的计算成本就很高，这些技术通常都是利用微分几何和某些假设进行单纯的微分计算，这里主要的工具是一阶泰勒展开式（first-order Taylor approximation）和顶点处的切线平面空间（tangent space），因此，这些新技术通常都可以很容易地集成于目前主流的路径追踪技术基础架构之上，更详细的内容请参考thegibook中相关章节。

接下来我们讨论的每一种微分的运用都涉及一个相对比较独立的层面，在阅读这些内容的时候，你首先需要非常清晰的了解的是它用来解决什么问题，因此我会在每一节的开头提出这个问题，然后读者可以围绕这个问题来阅读每一小节，即每一种技术。

光照传输的局部频率域分析

微分反应的是图像的局部特征，因此其在图像渲染中最直观的运用就是用于反走样（anti-aliasing）。光线追踪算法中由于采用不足导致的走样问题可以分为两大类：对路径空间（path space）的采样不足和对纹理空间（texture space）的采样不足，本质上这都是由于路径采样的不足导致的，但是它们通常使用不同的方法来解决。一个像素区域内的光线从屏幕空间发射出去之后，随着光线在表面的各种交互这个面积可能会无限扩散，所以单纯增加路径采样的数量可能也很难弥补纹理走样（texture aliasing）的问题。所以它们分别对应路径追踪算法中两个比较独立的反走样技术：路径空间采样不足主要对应于降噪技术，纹理空间采样不足对应于纹理过滤技术。

目前降噪技术主要的思路是针对图像的分布特征进行适配性采样以及适配性重建，前者对应于在图像的高频区域放置更高的路径采样密度；后者对应于根据图像特征对不同的区域使用不同的重建过滤器（reconstruction filter）。对路径进行适配性采样的方法可以分为两类：第一种直接对光照传输方程进行分析，称为先验方法(a priori method)；而第二种只对屏幕空间的图像进行分析，称为后验方法（a posteriori method）即是说与路径采样的方法无关。

光照传输的局部频率域分析可以用于纹理过滤以及作为降噪技术中的先验方法。以下我们讨论局部频率域分析的方法和思路。

路径的局部频率域分析虽然不是源自光线微分（ray differential）技术，但是跟它有很大的联系。光线微分技术的核心思路是随着光线的传播跟踪该光线对应的频率区域一个像素的大小，这称为光线的足迹（footprint），如下图所示，在路径追踪算法中追踪每条路径的时候，同时沿屏幕空间x和y方向分别发射一条一个像素大小的偏移路径，然后对每条基础路径同时跟踪两条偏移路径。路径在每个顶点处的足迹大小则可以通过积分计算出来。当然光线微分技术并没有完全利用微分几何的知识，因为它假设偏移路径和基础路径在每个路径顶点处位于同于平面-即该顶点的正切平面（tangent space）上，所以光线微分的计算大大简化了。

由于假设偏移路径和基础路径和表面的交点位于同一平面，上述光线微分技术仅适用于镜面表面（specular surface），路径微分（path differential）在此基础上将光线微分扩展到了光泽面（glossy surface）和漫反射表面（diffuse surface），它虽然有比较理论的推导，但是实践上主要使用经验方法，即根据表面的粗糙度用来缩放足迹的大小以支持光泽面和漫反射表面。

上述的光线/路径微分技术实际上是光线的一种局部特征，传统的路径追踪算法中每条光线之间的独立的，所以不能够分辨这种局部特征。然而上述方法还是有很多缺点，例如光线经过多次传播之后可能形状非常不规则，而两条偏移路径计算的四边形无法表达这种形状；其次偏移路径可能被阻挡，而光线/路径微分是忽略这种阻挡的；为了更好的追踪光线的局部特征，我们需要更完整的对光线的传输过程进行分析。

目前对光线进行局部分析的方法的思路主要是将光线的局部特征表示为一个空间-方向分布（spatial-angular distribution）的局部光照场（local light field），如下图所示，黄色的中心光线表示基础光线，周围的一些具有不同位置和方法分布的光线是一些虚拟光线，它们共同构成一个局部的空间-方向分布。例如对于摄像机光线，它的局部光照场的分布就是一个像素范围大小的一个过滤器，该过滤器对于每个不同方向和位置处的光线都具有一个不同的权重值，这个过滤器就反映了摄像机路径的局部特征；对于光源路径，如果是面积光，则局部光照场的方向为固定值，而位置分布于面积光源的各个位置。

有了局部光照场的描述，剩下的事情就是计算该光照场随着中心光线的传输。早期的思路是将光线在传输过程中的各种交互过程看做一个操作函数，例如光线的直线传输（transfer），反射，折射，阴影遮挡等，如下图所示，然后在局部光照场函数的频率空间进行交互，这样就可以跟踪局部光照场随中心光线的传播过程。

上述的傅里叶分析过程计算成本相对较高，为了简化局部光照场的传输，协方差追踪（covariance tracing）技术考虑可以将一个4D的空间-方向分布近似为一个椭圆形高斯分布（elliptical Gaussian filter），如下图所示，然后该分布可以使用该4D光照场的协方差来表示，所以局部光照场可以用其协方差矩阵（covariance matrix）来表示。然后这些对局部光照场的传播操作数就转变为矩阵操作，最后在计算足迹的时候再从协方差计算出该4D局部光照场的尺寸，这就可以用来替代上述的光线/路径微分技术用来实现纹理过滤。

协方差追踪不仅用于纹理过滤中计算局部光照场足迹的大小，还被用于适配性采样，如果我们从光源路径方向追踪光源的空间-方向分布至屏幕空间，则我们可以在屏幕空间分析图像的频率分布，进而可以用于适配性采样，如下图所示。下图的局部光照场是一个5D空间，它还包含了时间维度，因此可以用于计算运动模糊（motion blur）效果，在该图中，首先从光源发出光线经过一次表面交互（即直接光）之后投射一个椭圆形分布到屏幕空间，然后根据这些分布就可以计算出图像的频率分布，这些分布特征被用于适配性采样。

除了协方差追踪，光照传输的局部频率域分析还包括其他一些方法，但是目前协方差追踪是更简单和高效的一种技术。当然协方差追踪的限制是它将局部光照场近似为一个椭圆形的分布，实际的局部光照场分布特征可能还需要更负责的形状表述，这也是未来的优化方向。

下一篇我们将讨论梯度域渲染和流形探索或者半矢量空间光照传输。