蘋果的Measure應(yīng)用程序可能會通過AR獲得即時自動的測量

Apple正在尋求將Apple AR技術(shù)添加到 iPhone 上的 Measure 應(yīng)用程序中，使其更準(zhǔn)確，并使用測量值自動注釋對象。

引入 LiDAR 后，iPhone上的 Measure 應(yīng)用程序變得有用且更加準(zhǔn)確?，F(xiàn)在，Apple 一直在研究引入其 Apple AR 技術(shù)，以使其更快、更準(zhǔn)確。

將來，將 iPhone 相機(jī)對準(zhǔn)某個物體可以自動在屏幕上顯示其測量值通知。它將通過 AR 來實(shí)現(xiàn)，并且部分地通過機(jī)器學(xué)習(xí)對不同類型的對象來實(shí)現(xiàn)。

“基于對象分類的自動測量”是一項(xiàng)新公開的專利申請。它涉及如何確定您對哪個對象感興趣，然后如何準(zhǔn)確地測量它。

該專利申請?zhí)貏e廣泛，包括“獲得物理環(huán)境三維(3D)表示的設(shè)備、系統(tǒng)和方法”。生成的細(xì)節(jié)基于一系列不同的傳感器和測量值，與“深度數(shù)據(jù)和光強(qiáng)度圖像數(shù)據(jù)”有關(guān)。

“[這些] 根據(jù) 3D 表示生成與物理環(huán)境中的對象對應(yīng)的 3D 邊界框，”Apple 說，“根據(jù) 3D 邊界框和 3D 語義數(shù)據(jù)對對象進(jìn)行分類，并顯示對象的測量值，其中對象的測量是使用根據(jù)對象的分類選擇的多個特定于類的神經(jīng)網(wǎng)絡(luò)之一來確定的。”

首先，AR 將確定您對什么對象感興趣。專利申請并沒有詳細(xì)說明該確定是如何進(jìn)行的。不過，您可以推斷它類似于人像模式識別您正在關(guān)注前景中的人的方式。

“在某些使用物理環(huán)境的語義標(biāo)記的 3D 表示的實(shí)現(xiàn)中，對象檢測和對象測量的生成得到了促進(jìn)，”專利申請說。“一些實(shí)現(xiàn)對物理環(huán)境的 3D 點(diǎn)云進(jìn)行語義分割和標(biāo)記。”

然而，它決定了你對測量感興趣和不感興趣，這個未來的測量應(yīng)用程序可能會使用“多種不同的技術(shù)”。

“在某些實(shí)現(xiàn)中，通過首先根據(jù)深度數(shù)據(jù)為對象生成 3D 邊界框來測量對象，”Apple 說，“使用各種神經(jīng)網(wǎng)絡(luò)和此處描述的改進(jìn)算法改進(jìn)邊界框。”

邊界框可以從確定對象的基本寬度、高度和深度開始。然后，Measure 應(yīng)用程序進(jìn)一步嘗試對物體進(jìn)行分類，例如，它是椅子還是電視機(jī)。

“[例如，一個] 對象是使用機(jī)器學(xué)習(xí)技術(shù)(例如，神經(jīng)網(wǎng)絡(luò))對不同對象類型進(jìn)行不同類型的測量，”Apple 說。“[不同] 類型的測量可能包括椅子的座位高度、電視的顯示直徑、圓桌的桌子直徑、矩形桌子的桌子長度等等。”

機(jī)器學(xué)習(xí)已經(jīng)能夠識別和分類對象，甚至可以從平面圖像中識別。例如，Pixelmator Pro 等 Mac 圖像編輯器使用它來自動標(biāo)記圖層。

蘋果希望“訓(xùn)練”機(jī)器學(xué)習(xí)以適合測量特定對象。

“例如，可以訓(xùn)練一個模型并使用它來確定椅子類型對象的測量值(例如，確定座椅高度、手臂長度等)，”Apple 說，“而另一個模型可能會被訓(xùn)練