光州科學(xué)技術(shù)研究所的研究人員開(kāi)發(fā)出一種新的圖像去噪方法

使用“路徑追蹤”算法渲染的高質(zhì)量視覺(jué)顯示通常很嘈雜。最近的基于監(jiān)督學(xué)習(xí)的去噪算法依賴(lài)于外部訓(xùn)練數(shù)據(jù)集，訓(xùn)練時(shí)間長(zhǎng)，并且在訓(xùn)練和測(cè)試圖像不同時(shí)效果不佳?，F(xiàn)在，來(lái)自光州科技學(xué)院、VinAI Research 和滑鐵盧大學(xué)的研究人員提出了一種新穎的自我監(jiān)督后校正網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以在不依賴(lài)參考的情況下提高去噪性能。

高質(zhì)量的計(jì)算機(jī)圖形在游戲、插圖和可視化中無(wú)處不在，被認(rèn)為是視覺(jué)顯示技術(shù)的最先進(jìn)技術(shù)。用于渲染高質(zhì)量和逼真圖像的方法稱(chēng)為“路徑跟蹤”，它利用基于監(jiān)督機(jī)器學(xué)習(xí)的蒙特卡洛(MC) 去噪方法。在這個(gè)學(xué)習(xí)框架中，機(jī)器學(xué)習(xí)模型首先用噪聲和干凈的圖像對(duì)進(jìn)行預(yù)訓(xùn)練，然后應(yīng)用于要渲染的實(shí)際噪聲圖像(測(cè)試圖像)。雖然被認(rèn)為是圖像質(zhì)量方面的最佳方法，但如果測(cè)試圖像與用于訓(xùn)練的圖像明顯不同，則此方法可能效果不佳。

為了解決這個(gè)問(wèn)題，包括博士在內(nèi)的一組研究人員。韓國(guó)光州科學(xué)技術(shù)學(xué)院的學(xué)生Jonghee Back和Bochang Moon副教授、越南VinAI Research 的研究科學(xué)家Binh-Son Hua和加拿大滑鐵盧大學(xué)的Toshiya Hachisuka副教授在一項(xiàng)新研究中提出新的不依賴(lài)參考的 MC 去噪方法。他們的研究于2022 年 7 月 24 日在線(xiàn)發(fā)布，并發(fā)表在ACM SIGGRAPH 2022 會(huì)議論文集上。

“現(xiàn)有方法不僅在測(cè)試和訓(xùn)練數(shù)據(jù)集非常不同時(shí)失敗，而且需要很長(zhǎng)時(shí)間來(lái)準(zhǔn)備訓(xùn)練數(shù)據(jù)集以對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。需要的是一個(gè)神經(jīng)網(wǎng)絡(luò)，可以只使用動(dòng)態(tài)測(cè)試圖像進(jìn)??行訓(xùn)練，而無(wú)需用于預(yù)訓(xùn)練，” Moon 博士解釋了他們研究背后的動(dòng)機(jī)。

為了實(shí)現(xiàn)這一點(diǎn)，該團(tuán)隊(duì)提出了一種新的去噪圖像后校正方法，該方法包括一個(gè)自我監(jiān)督的機(jī)器學(xué)習(xí)框架和一個(gè)用于圖像處理的后校正網(wǎng)絡(luò)，基本上是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。后校正網(wǎng)絡(luò)不依賴(lài)于預(yù)訓(xùn)練的網(wǎng)絡(luò)，并且可以使用自我監(jiān)督學(xué)習(xí)概念進(jìn)行優(yōu)化，而不依賴(lài)于參考。此外，自監(jiān)督模型補(bǔ)充并提升了傳統(tǒng)的去噪監(jiān)督模型。

為了測(cè)試提議的網(wǎng)絡(luò)的有效性，該團(tuán)隊(duì)將他們的方法應(yīng)用于現(xiàn)有的最先進(jìn)的去噪方法。所提出的模型通過(guò)保留更精細(xì)的細(xì)節(jié)，證明了相對(duì)于輸入圖像的渲染圖像質(zhì)量提高了三倍。而且，整個(gè)on-fly訓(xùn)練和最終推理的過(guò)程只用了12秒!

“我們的方法是第一個(gè)不依賴(lài)于使用外部數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練的方法。這實(shí)際上將縮短制作時(shí)間并提高動(dòng)畫(huà)和電影等基于離線(xiàn)渲染的內(nèi)容的質(zhì)量，” Moon 博士評(píng)論道，推測(cè)他們工作的潛在應(yīng)用。

事實(shí)上，這種技術(shù)可能很快就會(huì)在視頻游戲、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)和虛擬世界中的高質(zhì)量圖形渲染中得到應(yīng)用!