• <blockquote id="g8ueq"><blockquote id="g8ueq"></blockquote></blockquote>
    <blockquote id="g8ueq"><samp id="g8ueq"></samp></blockquote>
  •  
    清華大學:基于IPv6的移動低延遲VR系統
    作者:  發布時間:2021-06-14   瀏覽次數:12




      清華大學“基于IPv6的移動低延遲VR系統”項目,實現了基于IPv6環境下的端云協同的虛擬現實渲染,在降低虛擬現實運用在移動端的硬件門檻的同時,實現了無線傳輸下的低延遲體驗。


      VR系統現狀


      虛擬現實(VR)旨在利用計算機視覺、傳感等技術及專門的硬件設備,給用戶呈現逼真的虛擬環境和顛覆性的交互體驗。


      隨著相關技術的成熟,國內外各大公司,諸如Facebook、Google、HTC等都紛紛進入VR領域,推出自己的VR系統。


      當下主流的VR系統通常都由三個關鍵的部件組成:頭戴式顯示器、傳感器和渲染器。


      為了能夠提供沉浸式的虛擬現實體驗,VR系統需要利用傳感器不斷追蹤、接收用戶的姿勢信息(包括位置和方向信息)。


      根據不同的姿勢信息,渲染器將實時地渲染出相應視角的畫面并在頭戴式顯示器上以雙眼畸變的形式顯示。


      目前主流的商業級VR系統分為兩大類:連線型和移動型。


      連線型VR系統將復雜的渲染、計算工作交給強大的主機,然后通過高速數據線(HDMI等)將主機渲染的每一幀圖像傳給單獨的頭戴式顯示器。


      移動型VR系統則摒棄了主機和數據線,將智能手機自身的GPU和顯示屏分別作為渲染器和頭戴式顯示器來提供沉浸式VR體驗。


      VR系統特殊的工作流程以及頭戴式顯示器所引入的近眼顯示都給系統帶來了巨大的計算和渲染開銷。


      為了使用戶能夠舒適地體驗各種VR應用,VR系統通常需要滿足下面三個性能和特征需求。


      1. 響應性


      VR 系統的端到端延遲需要小于10~25毫秒, 過高的端到端延遲將使用戶在體驗過程中出現眩暈等不適癥狀。


      2. 高質量的視覺效果


      為了營造逼真的虛擬環境,VR系統需要提供照片級真實感的高質量畫面,同時每秒幀刷新率也至少需要達到60來保證流暢的體驗。


      3. 移動性


      VR系統復雜的渲染、計算工作通??梢栽趶姶蟮闹鳈C上完成,這時頭戴式顯示器通常需要連接HDMI數據線來傳輸幾個Gbps級別的數據量,也就是需要使用連線型VR系統。


      但這種方式極大地降低了用戶體驗,例如用戶容易受數據線影響,因此如何提供具備移動性的VR系統至關重要。


      目前兩類主流的 VR 系統均無法滿足以上三個相互矛盾的性能和特征需求。


      連線型VR系統雖然能夠提供很好的響應性和高質量的視覺效果,但卻無法提供必要的移動性。


      移動型VR雖然在移動性上有先天的優勢,但由于手機較弱的渲染能力和電池容量,往往無法同時滿足前兩個基本的性能需求。


      與此同時,目前的無線IPv6網絡數據傳輸技術也無法直接替代高速數據線來支撐VR應用所需的幾個Gbps的帶寬和極低的端到端延遲。


      系統技術方案


      為了克服上述現有技術的缺點,基于IPv6的移動低延遲VR系統提供一種面向虛擬現實的協同渲染方法,基于云計算,使移動型VR系統能夠同時滿足VR系統的三個性能和特征需求,在移動設備(智能手機)上提供高質量的沉浸式虛擬現實體驗,同時無需耗盡移動設備的計算資源和IPv6網絡傳輸的帶寬資源。



    圖1 基于IPv6的移動低延遲VR系統架構


      系統架構如圖1所示,其采用的技術方案思路包括以下三點。


      1.將虛擬現實(VR)應用的內容拆分為動態交互內容和靜態環境內容,并利用云計算中手機和服務器的分離式架構分別渲染這兩個部分。


      2.服務器將連續虛擬空間離散化為大量的采樣點,提前渲染每個點對應的全景圖并存儲。利用手機本身的GPU實時地根據用戶輸入渲染、顯示所述動態交互內容;利用云端的服務器渲染所述靜態環境內容。


      3.客戶端根據接收的用戶信息,從服務器上通過IPv6網絡獲取對應位置的全景圖,本地實時渲染交互內容并最終將兩部分內容結合實現整個協同渲染的過程。


      也就是,手機在運行VR應用時,通過IPv6網絡向服務器請求已渲染的靜態環境內容,并與本地渲染好的動態交互內容在客戶端進行疊加、組合得到最終VR應用的畫面。


      所述動態交互內容主要包括會根據用戶的輸入而發生改變的一些物體,它們的模型規模相對較小、渲染紋理相對簡單,但是需要實時響應用戶的輸入.


      所述靜態環境內容是構成整個虛擬環境的主要成分,它們的模型規模相對龐大、渲染紋理相對復雜,但是通常只隨著用戶在虛擬空間內的移動才發生連續性地改變和更新。


      系統實現流程


      在虛擬現實場景下,本系統功能通過以下步驟實現。


      1.將目標VR應用的3D渲染模型拆分成兩部分:交互模型和環境模型,分別對應VR應用的動態交互內容和靜態環境內容;


      2.服務器端加載VR應用的環境模型,并按固定間隔在模型空間中可到達的范圍內遍歷取點,對于每一個采樣點,服務器都渲染出一張全景圖,并以采樣點對應三維位置信息作為其索引存儲在服務器端;


      3.客戶端實時追蹤、接收用戶的姿勢信息,客戶端利用位置信息通過IPv6網絡向IPv6服務器請求、獲取對應位置的全景圖,IPv6服務器配置如圖2所示;



    圖2 IPv6服務器配置


      4. 客戶端實時追蹤、接收用戶的交互信息,客戶端根據交互信息利用手機的GPU 實時渲染出動態交互內容;


      5. 客戶端將獲取的全景圖加載、映射到球面上以產生 360 度環繞效果;同時客戶端還利用全景圖的深度信息將本地實時渲染得出的交互物體疊加到球面全景圖上,完成前后景結合;


      6. 客戶端根據方向信息在手機屏幕上以雙眼畸變的形式顯示出對應角度的最終合成畫面。


      總結與展望


      本項目根據虛擬現實應用交互內容和環境內容的不同特征,充分利用云計算的分離式架構,將復雜高功耗的渲染任務通過網絡傳遞到云端,由云端完成高計算量的圖像渲染工作,最終返回終端并回顯給用戶,實現了移動設備上高質量的虛擬現實體驗。


      具體來說,本項目創新性地將沉浸式計算應用的渲染工作任務劃分為前景交互和背景環境,利用本地移動端GPU來渲染前景交互,同時利用服務器上的遠程渲染引擎預渲染背景環境并在手機上進行預取,最后在手機上將兩者合并以生成最終幀。


      為了克服移動終端計算能力有限,無線網絡高延遲、帶寬有限等挑戰、本項目重點研究協同渲染、基于IPv6網絡的預加載技術、并行編解碼和動態碼率自適應技術。與IPv4網絡環境相比,基于IPv6運行該項目,可以提供更充足的帶寬。


      同時,為了驗證系統的有效性,本項目在現有的移動終端和無線網絡環境下實現、部署、評估系統。和傳統的基于本地渲染的沉浸式計算系統相比,該系統可以提供更加高清而流暢的畫質,極低的交互式用戶感知延遲,以及更低的移動終端功耗。


      此外,作為一種渲染遷移框架,該系統具有一定的普適應,能夠作為移動沉浸式計算應用的底層支持,在未來能為各式各樣的沉浸式應用提供更加便攜的使用方式,更加高清低延時的交互體驗,并保證更長時間的續航。


      總的來說,與現有技術相比,基于IPv6的移動低延遲VR系統可以直接在當前移動設備上利用已有的IPv6網絡傳輸技術滿足VR系統所需的三個性能和特征需求;同時,在無需耗盡移動設備計算資源和IPv6網絡技術帶寬資源的情況下,實現高質量的VR體驗,對于提升移動型VR系統的性能具有十分重大的意義。


    引用自:http://www.edu.cn/xxh/xy/xytp/202106/t20210604_2118681.shtml






     
    天天AV天天翘天天综合网,免费人成黄页在线观看,日本一本AV不卡高清在线播放,性欧美欧美巨大