Google表示為什么其Pixel 4相機(jī)會(huì)如此出色

谷歌宣布其全新的像素4的相機(jī)上周二，它吹噓的計(jì)算攝影，使得這款手機(jī)的照片，甚至更好，從低光攝影用夜視儀，以識(shí)別改進(jìn)的畫(huà)像工具和單獨(dú)的頭發(fā)和寵物皮毛。您甚至可以為星星拍照。使這一切成為可能的是所謂的 計(jì)算攝影，它可以 極大地改善您的相機(jī)拍攝，幫助您的手機(jī)匹配，并在某些方面甚至超越昂貴的相機(jī)。

Google并不孤單。蘋(píng)果營(yíng)銷(xiāo)主管菲爾·席勒(Phil Schiller)于9月吹噓說(shuō)，iPhone 11的新計(jì)算攝影功能是“瘋狂的科學(xué)”。

但是計(jì)算攝影到底是什么?

簡(jiǎn)而言之，它是一種數(shù)字處理技術(shù)，可以使您的相機(jī)硬件發(fā)揮更大的作用-例如，通過(guò)改善色彩和照明效果，同時(shí)又將細(xì)節(jié)從黑暗中拉出來(lái)?？紤]到手機(jī)中微小的圖像傳感器和鏡頭的局限性以及這些相機(jī)在我們的生活中扮演的日益重要的角色，這一點(diǎn)非常重要。

聽(tīng)說(shuō)過(guò)諸如Apple的Night Mode和Google的Night Sight 之類(lèi)的術(shù)語(yǔ)嗎?從困難的昏暗條件中提取明亮，細(xì)膩的照片的那些模式正在起作用。但是它無(wú)處不在。它甚至內(nèi)置于第一階段的57,000美元中畫(huà)幅數(shù)碼相機(jī)中。

第一步：HDR和全景

早期的計(jì)算攝影優(yōu)勢(shì)稱為HDR，是高動(dòng)態(tài)范圍的縮寫(xiě)。小型傳感器不是很靈敏，這使它們?cè)趫?chǎng)景中明亮和昏暗的區(qū)域都難以應(yīng)付。但是，通過(guò)以不同的亮度級(jí)別拍攝兩張或更多照片，然后將這些照片合并為一張照片，數(shù)碼相機(jī)可以估計(jì)出更高的動(dòng)態(tài)范圍。簡(jiǎn)而言之，您可以在明亮的高光和黑暗的陰影中看到更多細(xì)節(jié)。

有缺點(diǎn)。有時(shí)，HDR拍攝看起來(lái)是虛假的。當(dāng)主題從一幀移至下一幀時(shí)，您會(huì)獲得偽影。但是自蘋(píng)果公司于2010年在iPhone 4中引入HDR以來(lái)，我們手機(jī)中快速的電子技術(shù)和更好的算法已穩(wěn)步改進(jìn)了該方法。HDR現(xiàn)在是大多數(shù)電話攝像頭的默認(rèn)模式。

Google通過(guò)其HDR Plus方法將HDR提升到了一個(gè)新的水平。它沒(méi)有合并在黑暗，普通和明亮曝光下拍攝的照片，而是捕獲了大量黑暗，曝光不足的幀。巧妙地將這些鏡頭堆疊在一起，可以使其正確曝光，但是這種方法在明亮的區(qū)域效果更好，因此藍(lán)天看起來(lái)是藍(lán)色的，而不是被洗掉的。它有助于減少稱為噪點(diǎn)的色斑，噪點(diǎn)會(huì)損害圖像。

蘋(píng)果在2018年的iPhone XS中采用了相同的想法Smart HDR。

全景式拼接也是計(jì)算攝影的一種形式。通過(guò)并排拍攝，您的手機(jī)可以構(gòu)建一個(gè)身臨其境的超寬圖像。當(dāng)您考慮匹配曝光，色彩和風(fēng)景的所有微妙之處時(shí)，這可能是一個(gè)非常復(fù)雜的過(guò)程。如今，智能手機(jī)使您只需將手機(jī)從場(chǎng)景的一側(cè)掃到另一側(cè)即可構(gòu)建全景圖。

3D觀看

另一種主要的計(jì)算攝影技術(shù)是3D視覺(jué)。蘋(píng)果公司使用雙攝像頭來(lái)觀看立體聲世界，就像您可以看到的一樣，因?yàn)槟难劬ο嗑鄮子⒋?。Google在Pixel 3上只有一個(gè)主攝像頭，它使用圖像傳感器技巧和AI算法來(lái)計(jì)算場(chǎng)景元素的距離。

最大的好處是肖像模式，該模式可以使主體清晰對(duì)焦，但將背景模糊成乳脂狀的平滑度-攝影行話中的“漂亮的散景”。

這就是帶有大而昂貴鏡頭的高端單反相機(jī)所著稱的。單反相機(jī)與物理學(xué)一樣，電話與數(shù)學(xué)一樣。首先，他們將其3D數(shù)據(jù)轉(zhuǎn)換為所謂的深度圖，這是場(chǎng)景的一種版本，它知道照片中的每個(gè)像素與相機(jī)相距多遠(yuǎn)?？拷黧w的像素保持清晰，但后面的像素與其鄰居模糊。

Google的Pixel 4通過(guò)兩次獨(dú)立的測(cè)量來(lái)收集立體數(shù)據(jù)-主相機(jī)鏡頭一側(cè)到另一側(cè)的距離，再加上主相機(jī)到遠(yuǎn)攝相機(jī)的距離。前者可以幫助拍攝近距離的物體，其次可以幫助拍攝更遠(yuǎn)的物體，兩者的結(jié)合有助于改善棘手的照片元素，例如飄逸的頭發(fā)。

人像模式技術(shù)可以用于其他目的。這也是Apple啟用其工作室燈光效果的方式，該效果可以對(duì)照片進(jìn)行修改，使人看起來(lái)好像站在黑屏或白屏前。

深度信息還可以幫助將場(chǎng)景分解為多個(gè)部分，以便您的手機(jī)可以做一些事情，例如更好地匹配陰影和明亮區(qū)域中的不規(guī)則顏色。Google并未這樣做，至少目前還沒(méi)有，但是它提出了這個(gè)想法很有趣。

夜間視力

HDR Plus方法的一個(gè)令人愉快的副產(chǎn)品是Night Sight，它于2018 年在Google Pixel 3上推出。它使用了相同的技術(shù)-拍攝穩(wěn)定的主圖像，然后在其他幾個(gè)幀上分層以建立一個(gè)明亮的曝光。

蘋(píng)果公司在2019年推出了iPhone 11和11 Pro手機(jī)上的夜間模式。

這些模式解決了電話攝影的一個(gè)主要缺點(diǎn)：在酒吧，飯店，聚會(huì)上甚至在光線不足的普通室內(nèi)情況下拍攝的照片模糊或黑暗。在真實(shí)攝影中，您不能指望明亮的陽(yáng)光。

夜間模式也為創(chuàng)意表達(dá)開(kāi)辟了新途徑。它們非常適合帶有霓虹燈的城市街景，尤其是當(dāng)您下雨使道路反射所有顏色時(shí)。

Pixel 4通過(guò)天文攝影模式將這一點(diǎn)推向新的高度，該模式可以混合多達(dá)16張照片(每張照片長(zhǎng)15秒)來(lái)捕捉星星和銀河系。

超分辨率

Google落后于Apple高端手機(jī)的領(lǐng)域之一是放大了遙遠(yuǎn)的對(duì)象。蘋(píng)果有一個(gè)額外的相機(jī)，焦距更長(zhǎng)。但是Google使用了一些巧妙的計(jì)算攝影技巧來(lái)縮小差距。

第一個(gè)稱為超分辨率。它依賴對(duì)稱為去馬賽克的核心數(shù)碼相機(jī)過(guò)程的根本改進(jìn)。相機(jī)拍攝照片時(shí)，每個(gè)像素僅捕獲紅色，綠色或藍(lán)色數(shù)據(jù)。去馬賽克會(huì)填充丟失的顏色數(shù)據(jù)，因此每個(gè)像素都具有所有三個(gè)顏色分量的值。

Google的Pixel 3 和Pixel 4依靠這樣一個(gè)事實(shí)：拍照時(shí)手會(huì)有些晃動(dòng)。這樣一來(lái)，相機(jī)就可以在不進(jìn)行去馬賽克的情況下為場(chǎng)景的每個(gè)元素找出真實(shí)的紅色，綠色和藍(lán)色數(shù)據(jù)。更好的源數(shù)據(jù)意味著Google可以比通常的方法更好地?cái)?shù)字放大照片。Google將其稱為Super Res Zoom。(通常，光學(xué)變焦(例如使用變焦鏡頭或第二個(gè)相機(jī))比數(shù)字變焦產(chǎn)生更好的效果。)

Pixel 4的超級(jí)分辨率變焦得益于專(zhuān)用的長(zhǎng)焦相機(jī)。谷歌表示，即使其焦距僅為主攝像頭的1.85倍，Super Res Zoom的清晰度也高達(dá)3倍光學(xué)鏡頭。

除了超分辨率技術(shù)外，Google還增加了一項(xiàng)名為RAISR的技術(shù)，以進(jìn)一步提高圖像質(zhì)量。在這里，Google計(jì)算機(jī)提前檢查了無(wú)數(shù)張照片，以訓(xùn)練AI模型確定哪些細(xì)節(jié)可能與較粗糙的功能相匹配。換句話說(shuō)，它使用的是其他照片中出現(xiàn)的圖案，因此軟件可以放大得比相機(jī)實(shí)際放大得多。

iPhone的深度融合

蘋(píng)果公司的Deep Fusion是今年iPhone 11的新功能，它是相同的多照片方法在中低照度下的更復(fù)雜的變化。它需要四對(duì)圖像-四張長(zhǎng)時(shí)間曝光和四張短時(shí)間-然后拍攝一張較長(zhǎng)時(shí)間的照片。它找到最佳組合，分析鏡頭以找出應(yīng)優(yōu)化的主題，然后將不同的幀結(jié)合在一起。

席勒(Shiller)夸耀iPhone 11的“計(jì)算攝影狂科學(xué)”是Deep Fusion功能的得力助手。但是直到iOS 13.2才進(jìn)行測(cè)試，而iOS 13.2現(xiàn)已處于Beta測(cè)試階段。

計(jì)算攝影在哪方面不足?

計(jì)算攝影是有用的，但是硬件和物理定律的限制在攝影中仍然很重要。將鏡頭拼接成全景圖并進(jìn)行數(shù)字變焦都是不錯(cuò)的選擇，但是帶相機(jī)的智能手機(jī)為計(jì)算攝影提供了更好的基礎(chǔ)。

這就是蘋(píng)果今年在iPhone 11和11 Pro中添加了新的超廣角相機(jī)的原因之一，并且有傳言稱Pixel 4將獲得新的遠(yuǎn)攝鏡頭。這就是為什么華為P30 Pro和Oppo Reno 10X Zoom具有5倍“潛望鏡”長(zhǎng)焦鏡頭的原因。

您只能用軟件做很多事情。

奠定基礎(chǔ)

最早的數(shù)碼相機(jī)開(kāi)始進(jìn)行計(jì)算機(jī)處理。它是如此基礎(chǔ)和必要，以至于我們甚至不稱其為計(jì)算攝影-但這仍然很重要，而且令人高興的是，它還在不斷改進(jìn)。

首先，使用去馬賽克技術(shù)來(lái)填充缺失的顏色數(shù)據(jù)，此過(guò)程對(duì)于像藍(lán)天這樣的均勻區(qū)域很容易，而對(duì)于像頭發(fā)這樣的精細(xì)細(xì)節(jié)來(lái)說(shuō)很難。有白平衡，相機(jī)會(huì)在其中嘗試補(bǔ)償藍(lán)色調(diào)的陰影或橙色調(diào)的白熾燈泡。銳化使邊緣更清晰，色調(diào)曲線使暗色調(diào)和亮色調(diào)之間達(dá)到很好的平衡，飽和度使色彩流行，并且減少雜色消除了在昏暗條件下拍攝的圖像的色斑。

在最先進(jìn)的技術(shù)出現(xiàn)之前，計(jì)算機(jī)做的工作比膠卷要多得多。

但是你還能稱它為照片嗎?

在過(guò)去，您會(huì)通過(guò)將感光膠片曝光到場(chǎng)景來(lái)拍照。在暗室中，任何對(duì)照片的擺弄都是費(fèi)力的。數(shù)碼照片的可變性要大得多，而計(jì)算攝影則將處理水平提高到了一個(gè)新的水平。

Google增亮了人體的曝光量，使他們的皮膚更加光滑。HDR Plus和Deep Fusion融合了同一場(chǎng)景的多個(gè)鏡頭。由多張照片組成的拼接全景圖無(wú)法反映一個(gè)時(shí)刻。

那么，您真的可以將計(jì)算攝影的結(jié)果稱為照片嗎?攝影記者和法醫(yī)研究人員采用了更為嚴(yán)格的標(biāo)準(zhǔn)，但是大多數(shù)人可能會(huì)說(shuō)“是”，這僅僅是因?yàn)楫?dāng)您輕按快門(mén)按鈕時(shí)，這大部分是您的大腦會(huì)記住的內(nèi)容。

聰明地記得，使用的計(jì)算攝影次數(shù)越多，您拍攝的光子瞬間越過(guò)瞬間，進(jìn)入相機(jī)鏡頭的行程就越多。但是計(jì)算攝影變得越來(lái)越重要，因此期望在未來(lái)幾年中進(jìn)行更多處理。