Holostream允許高質(zhì)量的無線3-D視頻通信

新平臺可在使用現(xiàn)有標(biāo)準(zhǔn)無線網(wǎng)絡(luò)的智能手機(jī)和平板電腦等移動設(shè)備上實現(xiàn)高質(zhì)量的3-D視頻通信。

“據(jù)我們所知，這個系統(tǒng)是第一個能夠通過標(biāo)準(zhǔn)無線網(wǎng)絡(luò)實時提供密集和準(zhǔn)確的3D視頻內(nèi)容到智能手機(jī)和平板電腦等遠(yuǎn)程移動設(shè)備的系統(tǒng)，”張松說。普渡大學(xué)機(jī)械工程學(xué)院。

他說，這個稱為Holostream的平臺大大減少了3-D視頻的數(shù)據(jù)大小，而基本上不會犧牲數(shù)據(jù)質(zhì)量，允許在現(xiàn)有無線網(wǎng)絡(luò)提供的帶寬范圍內(nèi)進(jìn)行傳輸。

它提高了質(zhì)量，擴(kuò)展了已經(jīng)利用實時三維數(shù)據(jù)傳輸?shù)牧餍袘?yīng)用程序的功能，例如電話會議和“遠(yuǎn)程呈現(xiàn)”，它使用虛擬現(xiàn)實和其他交互技術(shù)，讓人們感覺或看起來好像存在在一個偏遠(yuǎn)的地方。

“該技術(shù)還可以實現(xiàn)可能需要高分辨率，高精度3D視頻數(shù)據(jù)傳輸?shù)男屡d應(yīng)用，例如遠(yuǎn)程機(jī)器人手術(shù)和遠(yuǎn)程醫(yī)療，”普渡大學(xué)XYZT實驗室主任張說。

研究報告詳細(xì)介紹了將于 1月28日至2月2日舉行的電子影像2018年會議期間提交的研究論文。這篇論文由博士生Tyler Bell撰寫;該論文由加州伯林蓋姆撰寫。普渡大學(xué)惠普電氣與計算機(jī)工程杰出教授Jan P. Allebach; 和張。

現(xiàn)有的3-D視頻通信技術(shù)具有有限的應(yīng)用，部分原因在于它們需要專門且通常昂貴的硬件，復(fù)雜的系統(tǒng)設(shè)置以及用于實時操作或無延遲的高要求的計算資源。在傳輸3-D視頻之前，必須對其進(jìn)行壓縮。然而，使用傳統(tǒng)方法難以實時壓縮3-D視頻以進(jìn)行傳輸。新平臺首先將3-D視頻轉(zhuǎn)換為2-D格式，從而解決了這一問題。

“標(biāo)準(zhǔn)的2-D圖像和視頻壓縮技術(shù)相當(dāng)成熟，可以通過標(biāo)準(zhǔn)無線網(wǎng)絡(luò)實現(xiàn)當(dāng)今的現(xiàn)代2-D視頻通信，”Zhang說。“如果可以將三維幾何結(jié)構(gòu)高效精確地轉(zhuǎn)換為標(biāo)準(zhǔn)二維圖像，現(xiàn)有的二維視頻通信平臺可以立即用于低帶寬三維視頻通信。”

三維對象由形成三角形的交叉線網(wǎng)格表示。在這個幾何體的頂部是一個特征的“紋理”，使對象看起來真實。

“本文介紹了一種將3-D視頻數(shù)據(jù)和顏色紋理高效精確地編碼為常規(guī)2-D視頻格式的新方法，”張說。“我們開發(fā)了一種新穎的3-D視頻壓縮方法，可以在不顯著犧牲數(shù)據(jù)質(zhì)量的情況下大幅降低3-D視頻數(shù)據(jù)的尺寸。”

該框架使用標(biāo)準(zhǔn)中等帶寬網(wǎng)絡(luò)進(jìn)行測試，以同時向多個移動設(shè)備提供高質(zhì)量的3-D視頻。

通過用于3D視頻錄制，壓縮，傳輸，解壓縮和可視化的新管道實現(xiàn)Holostream。

該團(tuán)隊開發(fā)了管道的硬件和軟件，包括3-D視頻捕獲系統(tǒng)。三維相機(jī)捕獲圖像，使用LED燈將條紋的結(jié)構(gòu)圖案投影到被掃描的物體上。這些條紋允許系統(tǒng)確定物體的深度和形狀。

該平臺可以實現(xiàn)高分辨率，高精度三維視頻數(shù)據(jù)的實時傳輸特別關(guān)鍵的應(yīng)用，例如協(xié)作設(shè)計和在線“面部行為分析”，這可以揭示一個人的心理狀態(tài)和醫(yī)療條件，如作為抑郁癥和創(chuàng)傷后應(yīng)激障礙。