了解Apple iPhone 11的新相機功能背后的技術(shù)

蘋果公司對夸張很感興趣，以至于沒有任何蘋果活動，如果沒有諸如“ 絕對令人驚嘆 ”，“ 沒有像以前任何東西 ”和“ 真正令人難以置信 ” 這樣的短語，那就不會完整。客戶和技術(shù)新聞界的同仁都已經(jīng)習慣了Apple的自我支持-畢竟，盡管該品牌確實傾向于炫耀經(jīng)過革新的現(xiàn)有技術(shù)版本，但它仍然有效。在最近結(jié)束的iPhone 11上但是，庫比蒂諾(Cupertino)巨人與自己有點不同，它以一種輕快的速度從一個發(fā)射轉(zhuǎn)移到另一個發(fā)射，而無需花費太多精力。但是，那并沒有阻止Phil Schiller將他們的新相機技術(shù)標記為“ 計算攝影狂科學 ”。我們在這里談?wù)摰氖茿pple的Deep Fusion技術(shù)，如果您想知道它是什么以及為什么要關(guān)心它，請繼續(xù)閱讀。

它是什么?

在任何可能的方式中，深度融合都完全屬于計算攝影的既定定義。為了調(diào)動您的記憶力，可以將計算攝影定義為一個系統(tǒng)，其中在拍攝照片后，處理單元的算法主要負責產(chǎn)生最終照片。在典型情況下，它使用智能手機內(nèi)部的圖像信號處理器(ISP)來增強傳感器和鏡頭在無數(shù)數(shù)學計算中捕獲的圖像，從而生成現(xiàn)有光學設(shè)置無法實現(xiàn)的圖像。

借助Deep Fusion，蘋果公司將計算攝影技術(shù)進一步發(fā)展。蘋果公司不單單依靠ISP，而是大膽地賭輸了對神經(jīng)引擎或神經(jīng)處理單元(NPU)的大部分責任，以便在拍攝照片時使用更多的計算能力。這樣，在Apple新款iPhone上拍攝的任何圖像都將以多張照片進行拍攝，然后Deep Fusion將采用并增強元素以創(chuàng)建具有最佳色彩平衡，豐富細節(jié)，紋理，白平衡和噪點的照片。 。鑒于蘋果通常在其相機中使用一流的硬件，因此至少在紙面上的結(jié)果應(yīng)該是出色的。

它是如何工作的?

在新版iPhone 11，iPhone 11 Pro和iPhone 11 Pro Max中，打開相機應(yīng)用程序后，一堆算法指示成像系統(tǒng)開始工作。這將其設(shè)置為操作的關(guān)鍵部分，在這種情況下，照相機可以在實際按下快門按鈕之前為您的對象拍攝一堆照片。這樣做的主要手段是ISP本身，它被編程為在按下快門后總共拍攝9張照片-4張快速曝光照片，4張次要照片和1張長時間曝光照片。

實際上，前八幅照片是在按下快門按鈕之前單擊的，并且在點擊快門時，所涉及的iPhone將為您的主體拍攝一張長時間曝光的照片。重要的是要注意，此處的“長時間曝光”受普通智能手機照片的標準快門速度的影響，并且可能在1/2秒或1/6秒以下。拍攝完這些圖像后，就可以使用Apple A13 Bionic SoC上的新神經(jīng)引擎，指的是該技術(shù)的Deep Fusion部分。

在這里，神經(jīng)引擎從24兆像素(即2400萬像素)的組合數(shù)據(jù)創(chuàng)建整體圖像幀，以在照片的每個部分中拍攝的9張照片中選擇最佳。從更精細的角度講，神經(jīng)引擎的算法經(jīng)過訓練，可以從拍攝的九張圖像中為最終照片中的每個最終像素選擇最佳像素。即使在現(xiàn)代的片上系統(tǒng)處理單元看來，從按下快門之前到查看照片，也只是在短短的一秒鐘的時間內(nèi)處理了大量的數(shù)據(jù)。

由于Deep Fusion的基本任務(wù)是改變所有拍攝的曝光時間，因此對于每個像素，神經(jīng)引擎都有廣泛的指標可供選擇?；旧?，一旦您單擊圖像，A13 SoC的神經(jīng)引擎便可以決定最佳對比度，清晰度，保真度，動態(tài)范圍，色彩準確性，白平衡，亮度和與圖像相關(guān)的所有其他因素。由于相機的可變因素范圍很廣，因此Deep Fusion技術(shù)可以理想地產(chǎn)生具有更高動態(tài)范圍，令人難以置信的高細節(jié)水平，出色的弱光成像，低噪點和高色彩精度的圖像。 。

另一個應(yīng)該受益的領(lǐng)域是低照度攝影，蘋果公司以自己的夜間模式拍攝了廣告。在弱光條件下，Apple會將長曝光圖像的亮度優(yōu)勢與短曝光圖像的穩(wěn)定性，細節(jié)和準確性相結(jié)合，以創(chuàng)建一種超級圖像，在黑暗中為主體提供出色的照明，同時保持穩(wěn)定性和穩(wěn)定性。不會造成鏡頭模糊。在這種情況下，Deep Fusion可能會發(fā)揮出最大的威力，因為在白天，這將完全取決于Apple是否獲得正確判斷顏色的算法。

它與其他技術(shù)有何不同?

老實說，深度融合并不完全是突破性的，甚至也不是全新的。三年前，索尼在以前的旗艦產(chǎn)品Sony Xperia Z5上推出了預(yù)測性拍攝功能，該產(chǎn)品一共拍攝了四張照片，其中三張是在敲擊快門時拍攝的，另一張是在按下快門時拍攝的。這個想法是為了幫助用戶拍攝快速移動的物體或自己快速移動時的穩(wěn)定，穩(wěn)定的照片，例如在軌道上飛馳的賽車，或在快速車中在道路上的一棵獨特的樹木。

Google Pixel 4

預(yù)計Google Pixel 4將進一步改善計算攝影。

索尼著名的步履蹣跚的界面意味著該功能太過遲鈍和錯誤，并且經(jīng)常會在按下快門時凍結(jié)相機應(yīng)用程序。因此，盡管索尼是智能手機上的計算AI攝影的第一批制造商之一，但索尼卻無法利用它，就像480和960fps的超慢動作視頻一樣。另一方面，谷歌通過爆破HDR成像使其玩起來更加智能。它使用了輕巧的界面，資源友好的攝像頭應(yīng)用程序以及出色的ISP，可以在Google Pixel 3上提供15張HDR +計算攝影效果。這幾乎與席勒聲稱的iPhone 11所具有的“瘋狂科學”相同-從按下快門開始觀看照片之前，整個過程大約需要一秒鐘，其中Pixel 3相機會以HDR +拍攝15張相同主題的圖像，

坦白地說，從目前看來，Deep Fusion唯一的獨特表現(xiàn)在于它點擊了額外的長時間曝光圖像。長曝光框可以為神經(jīng)引擎在選擇正確的亮度和亮度水平(尤其是在昏暗設(shè)置中)方面提供不錯的杠桿作用。也就是說，在拍攝速度，整體細節(jié)等方面，看看蘋果的計算攝影是否真的比Google在其算法上具有更大的影響力肯定會很有趣。

那么，這有什么大不了的嗎?

對于蘋果公司來說，Deep Fusion是其備受贊譽的Google Pixel相機的答案。Android的制造商已經(jīng)在過去幾代的Pixel智能手機中進行了計算攝影，盡管許多報道都說蘋果已經(jīng)落后了，但iPhone的責任在于展示其所有神經(jīng)引擎和軟件可以做什么。

然而，就目前而言，很難說Deep Fusion是真正值得被稱為“瘋狂科學”的技術(shù)，還是會逐漸淡化為蘋果的另一項夸張的技術(shù)。