An Efficient Denoising Algorithm for Global Illumination

ABSTRACT
We propose a hybrid ray-tracing/rasterization strategy for realtime
rendering enabled by a fast new denoising method. We factor
global illumination into direct light at rasterized primary surfaces
and two indirect lighting terms, each estimated with one pathtraced
sample per pixel. Our factorization enables efficient (biased)
reconstruction by denoising light without blurring materials. We
demonstrate denoising in under 10 ms per 1280×720 frame, compare
results against the leading offline denoising methods, and include a
supplement with source code, video, and data.

本発明者らは、迅速な新しいノイズ除去方法によって可能になるリアルタイムレンダリングのためのハイブリッドレイトレーシング/ラスタライズ戦略を提案する。ラスタライズされた1次面と、それぞれが1sppのパストレで推定された2つの間接ライティング項で、グローバルイルミネーションを考慮します。我々の分解は、材料をぼかすことなく光をノイズ除去することによって、効率的な(バイアスされた)再構成を可能にする。我々は、1280×720フレームあたり10ミリ秒以下でのノイズ除去を実証し、主要なオフラインノイズ除去手法と比較し、ソースコード、ビデオ、およびデータの補足を含める。

1 INTRODUCTION
Efficient CPU and GPU parallel ray casting engines such as Embree
and OptiX can now path trace global illumination in real time.
However, as these systems can currently only afford a few rays per
pixel, the results are too noisy for end-user applications and are
therefore only suitable for preview in content creation tools.

EmbreeやOptiXなどの効率的なCPUとGPUの並列レイキャスティングエンジンは、リアルタイムのグローバルイルミネーションをパストレースすることができます。しかし、現在のところ、これらのシステムは1ピクセルあたりわずかな光線しか供給できないため、結果はエンドユーザアプリケーションにとってはノイズが多いため、コンテンツ作成ツールでのプレビューにのみ適しています。

While ray budgets are likely to increase with GPU and CPU
performance, they are unlikely to increase ten-thousand-fold in the
near future, as required for convergence in path tracing. Even film
rendering does not actually trace to convergence, but instead postprocesses
images with denoising filters [Goddard 2014]. Previous
high-quality denoising filters for path tracing are offline processes
that expect hundreds of samples per pixel. In this paper, we describe
a fast, new denoising filter based around a specific material (i.e.,
bidirectional reflectance distribution function; BRDF) factorization
as a major step towards real-time path tracing with temporal stability
and attractive, robust results. It runs two orders of magnitude
faster than leading offline denoisers and yields smoother results
without overblurring primary surfaces.

レイバジェットはGPUとCPUのパフォーマンスによって増加する可能性がありますが、近い将来、パストレースのコンバージェンスに必要な倍率である、1万倍になる可能性は低いです。フィルムレンダリングでさえ、収束を実際にトレースするのではなく、ノイズ除去フィルタ[Goddard 2014]で画像を後処理します。従来のパストレース用の高品質のノイズ除去フィルタは、1ピクセルあたり数百サンプルを必要とするオフラインプロセスです。この論文では、時間的安定性と魅力的で堅牢な結果を伴うリアルタイム経路追跡に向けた主要なステップとしての特定の材料(すなわち、双方向反射率分布関数; BRDF)分解に基づく高速で新しいノイズ除去フィルタを説明する。主なオフラインノイズ除去装置よりも2桁高速で動作し、主表面がぼやけることなくスムーズな結果が得られます.

The primary contribution of this paper is a real-time spatiotemporal
denoising framework, which is derived from a factored
approximation of a material-based Monte Carlo integrator. The
approximation itself is the core concept that enables a specific way
of denoising images. An important key idea is the introduction of a
separate filtering path in the historical buffer for temporal denoising.
This makes it possible to reduce the bandwidth overhead of wide
bilateral filters applied to lighting on matte surfaces without flicker
or boiling.

この論文の主な貢献は、物質ベースのモンテカルロ積分器の因数分解された近似から導出された、時空間のノイズ除去フレームワークです。近似そのものは、画像をノイズ除去する特定の方法を可能にするコアコンセプトです。重要なキーアイデアは、テンポラルデノイズのために、過去のバッファに別々のフィルタリングパスを導入することです。これにより、ちらつきや沸騰なしに、マット面の照明に適用される帯域幅の広いバイラテラルフィルタの帯域幅オーバーヘッドを低減することができます。

Several principles and observations appropriate for real-time
systems underly our method. The detail in reflected light is more often due to material and direct illumination than to detail in the
lighting environment, and blurring is less perceptible for indirect
light than material. Under importance sampling, matte surfaces
sample the entire hemisphere and thus are very noisy?but that
same dispersion means the light can be aggressively denoised. Nearspecular
reflections exhibit little noise under material importance
sampling because all incident rays are tightly clustered. Glossy
lobes already band-limit reflections proportional to their roughness,
so illumination from rougher surfaces can be denoised using wider
filters. Temporal filtering at primary surfaces of reflections must
be based on reprojection of the virtual position of reflected objects,
not the position of the primary surfaces. Temporal filtering fails
under disocclusion, but failure regions are predictable and can be
corrected by wide spatial filters

リアルタイムシステムに適したいくつかの原則および観察は、本発明の方法の元になっている。反射光のディテールは、照明環境のディテールよりも材料や直接の照明によるものが多く、間接的な光のほうが素材よりもぼやけて見えません。インポータンスサンプリングの元では、マット面は半球全体をサンプリングしており、ノイズが非常に多いですが、同じ分散は光を積極的にノイズ除去できることを意味します。近似反射は、すべての入射光線が密集しているため、重要性の重要度サンプリングではほとんどノイズを示さない。光沢のあるローブはすでに、その粗さに比例した反射を帯域制限するので、粗い表面からの照明は、より広いフィルタを使用してノイズを除去することができます。反射のプライマリサーフェスでの時間フィルタリングは、プライマリサーフェスの位置ではなく、反射されたオブジェクトの仮想位置の再投影に基づいていなければなりません。離散化では時間的フィルタリングが失敗するが、故障領域は予測可能であり、広い空間フィルタによって補正することができる

Our method separates direct light, indirect light, and material sampling at primary surfaces, applies to indirect light spatial and temporal kernels that grow in expected blurry and undersampled regions, and suppresses specific artifacts such as flickering highlights.

我々の方法は、直接光、間接光、および主要な表面での物質サンプリングを分離し、予想されるぼやけた領域およびアンダーサンプリングされた領域で成長する間接光空間および時間的なカーネルに適用し、ハイライトのちらつきなどの特定のアーティファクトを抑制する。



Comments