2018年1月30日，IPTV VR技術(shù)產(chǎn)業(yè)論壇在中國(guó)電信上海研究院4樓報(bào)告廳正式召開(kāi)，作為整個(gè)VR行業(yè)的推動(dòng)者，通信運(yùn)營(yíng)商無(wú)疑有著管道、終端、用戶等多方面的優(yōu)質(zhì)資源，4K乃至8K VR如何借助運(yùn)營(yíng)商之手順利進(jìn)入到千家萬(wàn)戶，實(shí)現(xiàn)產(chǎn)業(yè)的快速崛起，觀察運(yùn)營(yíng)商的動(dòng)態(tài)無(wú)疑有著深遠(yuǎn)的意義。本文為眾視媒體DVBCN記者現(xiàn)場(chǎng)整理報(bào)道。
圖為ARM區(qū)域市場(chǎng)經(jīng)理王田
在會(huì)議上，ARM區(qū)域市場(chǎng)經(jīng)理王田在現(xiàn)場(chǎng)以“從芯架構(gòu)，虛擬世界”為題發(fā)表演講，從一個(gè)芯片及IP Core的角度出發(fā)，談及ARM如何支撐VR成為現(xiàn)實(shí)。
從未來(lái)XR產(chǎn)業(yè)的發(fā)展來(lái)看，基于4K乃至8K的多屏編解碼能力將成為未來(lái)的重點(diǎn)，隨著VR直播及8K VR的進(jìn)一步推進(jìn)，1Gbps以上的碼率也將成為未來(lái)關(guān)注的重點(diǎn)，同時(shí)為滿足用戶在XR體驗(yàn)時(shí)的交互行為，Machine Learning也成為未來(lái)必須要解決的重心之一。
王田經(jīng)理表示，從GPU這塊，ARM引領(lǐng)VR的體驗(yàn)，未來(lái)的視頻一定是基于HDR而不是SDR的內(nèi)容，Mali將通過(guò)其HDR10的運(yùn)算能力，幫助視頻更好地實(shí)現(xiàn)HDR色域及幀率上的優(yōu)化。Mali能夠通過(guò)DDK拓展，降低延遲，解決帶寬延遲的問(wèn)題，通過(guò)AFBC降低更高分辨率所需要的系統(tǒng)帶寬。芯片和OEM廠商共同合作，在高端設(shè)備上，提供高端體驗(yàn)，Mali的GPU通過(guò)軟件的方式降低延遲，提供支持無(wú)損壓縮的模式，加深抗鋸齒能力，頭顯設(shè)備對(duì)于顆粒感的敏感度，如果存在鋸齒狀的內(nèi)容，由于360度全景近眼，整個(gè)視頻的鋸齒就會(huì)被放大，影響到體驗(yàn)。
同時(shí)，提供多路視頻的解碼與緩沖能力，提供Foveated Rendering的能力，將中央的圖像進(jìn)行深度4K乃至8K的解碼，同時(shí)在底層提供一個(gè)低分辨率的圖層，降低芯片解碼的要求。
由于頭顯設(shè)備需要感應(yīng)人的轉(zhuǎn)動(dòng)方向，通過(guò)視角去捕捉，減少芯片處理的能力，通過(guò)ARM大小核能力，通過(guò)解碼與編碼的引擎，需要用專業(yè)的解碼能力，GPU將圖像分成左右兩個(gè)Buffer，到屏幕顯示，通過(guò)單眼2K的頭顯，用戶能夠獲得75幀的視頻，獲得優(yōu)質(zhì)的體驗(yàn)。
其他例如人工智能的技術(shù)，一些新的應(yīng)用，上面賦有很多新的應(yīng)用，交互，例如人臉識(shí)別、手勢(shì)識(shí)別等，可以跑在ARM Mali的GPU上，也可以跑在其他專用的能力上，除了VR的體驗(yàn)以外，如何保障用戶更優(yōu)質(zhì)的體驗(yàn)也是考慮的方向。
ARM不管是GPU（4K 60幀以上的渲染和加速），現(xiàn)有的Display能夠提供VR的加速，系統(tǒng)級(jí)解決端到端的延遲，達(dá)到10ms左右。ARM的整合解決方案能夠?yàn)镮PTV的VR用戶提供最優(yōu)質(zhì)的體驗(yàn)，在GPU上，實(shí)現(xiàn)4K單線程緩沖，達(dá)到60fps的4K。另一線程實(shí)現(xiàn)Timewarp，鏡頭校訂以及VR架構(gòu)，未來(lái)將進(jìn)一步實(shí)現(xiàn)8K 60幀的畫面。在VPU上支持120幀4K10比特視頻解碼，DPU支持4K 75~90幀顯示輸出（單眼2K），部分處理和運(yùn)算可以在DPU側(cè)實(shí)現(xiàn)，未來(lái)全面提升120幀8K視頻的體驗(yàn)。整個(gè)過(guò)程按照端到端低于10ms的延遲進(jìn)行設(shè)計(jì)，最大限度必須低于20ms。
微信掃一掃
