首頁

IPTV電視寬帶運(yùn)營

【全文】《IPTV VR技術(shù)產(chǎn)業(yè)白皮書》（2017年）

2017-12-19 16:24:31 來源：智慧家庭產(chǎn)業(yè)聯(lián)盟熱度:

中國智慧家庭產(chǎn)業(yè)聯(lián)盟

2017年11月

引言

虛擬現(xiàn)實(shí)（Virtual Reality）技術(shù)已經(jīng)列入《十三五國家科技創(chuàng)新規(guī)劃》十大新一代信息技術(shù)，VR產(chǎn)業(yè)跨界融合明顯、業(yè)務(wù)形態(tài)豐富、產(chǎn)業(yè)潛力大、社會效益強(qiáng)，將給新一代信息通信技術(shù)ICT發(fā)展提供新的動能。雖然目前VR可能被視作正處在走出期望幻滅低谷的階段，但是作為一個具有較長發(fā)展歷史，經(jīng)歷完整Gartner技術(shù)成熟度曲線的產(chǎn)業(yè)，隨著真實(shí)應(yīng)用需求的增加，可以相信這是一個新的起點(diǎn)，VR時代的大幕正徐徐開啟，將成為“下一代互聯(lián)網(wǎng)”和“下一代計(jì)算平臺”，給人們的生產(chǎn)方式和生活方式帶來革命性變化。

中國交互式網(wǎng)絡(luò)電視（IPTV）十多年的持續(xù)創(chuàng)新發(fā)展，已成為融合傳統(tǒng)媒體和新興媒體網(wǎng)絡(luò)傳播的主導(dǎo)渠道，成為提高信息消費(fèi)供給水平豐富數(shù)字創(chuàng)意內(nèi)容和服務(wù)的重要方式。依托IPTV業(yè)務(wù)、網(wǎng)絡(luò)和終端在智慧家庭的規(guī)模化覆蓋能力，以及IPTV領(lǐng)域的技術(shù)業(yè)務(wù)創(chuàng)新活力，結(jié)合VR近眼顯示、渲染處理、網(wǎng)絡(luò)傳輸和內(nèi)容制作技術(shù)的最新成果，堅(jiān)持以應(yīng)用為驅(qū)動，在應(yīng)用中改進(jìn)VR沉浸體驗(yàn)、提高VR虛實(shí)交互，可以率先邁出規(guī)?；渴餓PTV“VR+”業(yè)務(wù)創(chuàng)新的步伐。

本白皮基于中國智慧家庭產(chǎn)業(yè)聯(lián)盟在IPTV和VR領(lǐng)域的研究和驗(yàn)證工作，在聯(lián)盟成員的支持和協(xié)同下編制完成，旨在對IPTV結(jié)合VR的技術(shù)產(chǎn)業(yè)發(fā)展提出洞察，闡述IPTV VR應(yīng)用場景及其邏輯，并對IPTV VR的技術(shù)、業(yè)務(wù)、體驗(yàn)、終端和網(wǎng)絡(luò)進(jìn)行描述和展望，期望形成產(chǎn)業(yè)共識，加快IPTV“VR+”創(chuàng)新的步伐。

1、IPTV的發(fā)展現(xiàn)狀及趨勢

1.1 IPTV引領(lǐng)和推動寬帶網(wǎng)絡(luò)及視頻業(yè)務(wù)發(fā)展

IPTV業(yè)務(wù)從2005年開始，十二年的發(fā)展推動視頻成為運(yùn)營商第四個上億用戶規(guī)模的基礎(chǔ)業(yè)務(wù)，成為融合傳統(tǒng)媒體和新興媒體網(wǎng)絡(luò)傳播的重要渠道。2005年~2014年，IPTV業(yè)務(wù)以標(biāo)清為主，高清為輔，視頻成為寬帶主要的業(yè)務(wù)，有效地推動了光進(jìn)銅退的寬帶發(fā)展。2015年~2017年，IPTV以4K技術(shù)為引領(lǐng)，三年新增用戶數(shù)超過過去十年的總數(shù)，視頻成為創(chuàng)新基礎(chǔ)業(yè)務(wù)，有效地推動百兆寬帶成為剛需。IPTV成為一個新的融合娛樂視頻、通信視頻、行業(yè)視頻、增值業(yè)務(wù)的產(chǎn)業(yè)，成為智慧家庭的核心服務(wù)。

圖1中國電信IPTV寬帶滲透率

1.2 VR是IPTV體驗(yàn)提升和業(yè)務(wù)創(chuàng)新的必然選擇

VR時代的大幕已經(jīng)開啟，VR時代將沿著沉浸體驗(yàn)、虛實(shí)交互、虛實(shí)一體的方向發(fā)展，預(yù)計(jì)將成為“下一代互聯(lián)網(wǎng)”和“下一代計(jì)算平臺”，深刻改變未來的生活和生產(chǎn)方式。高盛公司的VR報(bào)告表示，VR正在加速向生產(chǎn)與生活領(lǐng)域滲透，預(yù)計(jì)2025年VR和AR市場規(guī)模將超過TV市場，VR不僅在視頻、游戲、社交等大眾領(lǐng)域，在很多諸如工業(yè)、醫(yī)療、教育等行業(yè)領(lǐng)域擁有很大的潛力。

IPTV業(yè)務(wù)的視頻體驗(yàn)從標(biāo)清、高清向4K/全4K發(fā)展，同時拉動百兆寬帶的發(fā)展和普及，然而由于家庭電視觀看設(shè)備及距離的約束，傳統(tǒng)電視視頻應(yīng)用的用戶體驗(yàn)已達(dá)極限，同時傳統(tǒng)兩維平面視頻的網(wǎng)絡(luò)需求也難以繼續(xù)構(gòu)成千兆寬帶需求。而VR天然的沉浸特性和高帶寬需求都指引著IPTV業(yè)務(wù)創(chuàng)新和體驗(yàn)提升向VR時代方向發(fā)展。

圖2 IPTV業(yè)務(wù)體驗(yàn)演進(jìn)趨勢

2、VR發(fā)展趨勢與關(guān)鍵挑戰(zhàn)

2.1 VR是與虛擬世界感知、交互、融合的全新體驗(yàn)

存在即感知，世界乃虛擬。從視覺的數(shù)字化和虛擬化開始，世界的虛擬化是一個無法逆轉(zhuǎn)的趨勢。隨著科技的進(jìn)步，人的大腦終將能夠接入計(jì)算機(jī)，意識和感官終將被數(shù)字化，虛擬和現(xiàn)實(shí)的邊界終將逐漸消解。其實(shí)游戲、電影所表達(dá)的就是一個虛擬世界，我們看到的視頻，從某種意義來說，就是一些真實(shí)世界被數(shù)字化和虛擬化以后，重新呈現(xiàn)的效果，社交網(wǎng)絡(luò)把真實(shí)生活中的人與人的關(guān)系數(shù)字化放到虛擬網(wǎng)絡(luò)世界中。當(dāng)互聯(lián)網(wǎng)絡(luò)和虛擬技術(shù)為人們構(gòu)建與真實(shí)世界或者說我們所生活世界對應(yīng)的虛擬空間，并可以進(jìn)行信息和物質(zhì)的交互，意識和感官都可以被替代的時候，何為虛擬？何為現(xiàn)實(shí)？虛擬技術(shù)將連接虛擬和現(xiàn)實(shí)，打開新的感知、交互、融合的維度，在那個維度里，現(xiàn)實(shí)無足輕重，體驗(yàn)才是王國真正的貨幣，人類將用全新的方式感知萬物，感知彼此。

VR的沉浸感知體驗(yàn)

虛擬現(xiàn)實(shí)的目標(biāo)在于讓使用者在感官上難以分辨虛擬世界和現(xiàn)實(shí)世界，這些感知體驗(yàn)包括了視覺、聽覺、觸覺、嗅覺、味覺和重力感知等多個維度。目前VR領(lǐng)域最主要發(fā)展方向是視覺呈現(xiàn)方式上，現(xiàn)在主流的視覺呈現(xiàn)方式是由LCD或OLED近眼顯示屏加菲涅爾光學(xué)透鏡為成像核心的VR頭戴式顯示器（HMD）。近眼顯示屏分辨率從現(xiàn)在主流的雙眼2K到一兩年內(nèi)升級到4K，一直到視網(wǎng)膜分辨率級別的16K，將逐步提升視覺感官效果，去掉紗窗效應(yīng)，達(dá)到人眼看不出差別的效果。而在光學(xué)成像上通過透鏡或透鏡組的優(yōu)化設(shè)計(jì)，從現(xiàn)在的90~120度視場角（FOV）逐漸發(fā)展到未來可以達(dá)到200度接近人眼真實(shí)的視場角。在聽覺呈現(xiàn)上，采用3D聲場音效，聲音的混響、方位、衰減、空間化及多角度音效，可以再現(xiàn)現(xiàn)場級別的聲效。除了視聽感知體驗(yàn)的繼續(xù)提升，未來的突破口在于建立多維度感知能力，人在現(xiàn)實(shí)世界的感知是多個維度的，但目前虛擬現(xiàn)實(shí)領(lǐng)域?qū)τ|覺、嗅覺、味覺等方面關(guān)注較少，體驗(yàn)的真實(shí)性和實(shí)時性不足。

VR的交互行為體驗(yàn)

虛擬現(xiàn)實(shí)的交互行為體驗(yàn)體現(xiàn)在兩個層面，一方面是在虛擬現(xiàn)實(shí)內(nèi)容里的互動，另一方面是在體驗(yàn)自如的交互技術(shù)，都是構(gòu)成與虛擬世界交互體驗(yàn)的重要研究方向。

VR交互內(nèi)容方面可以體現(xiàn)在：VR視頻的多線程視頻，讓觀眾以其中一員的身份參與電影中，甚至可以通過交互選擇影響進(jìn)展和結(jié)局，那將是一種全新的觀影體驗(yàn)。而對于VR社交，VR教育，VR游戲等交互性應(yīng)用，用戶可以在虛擬世界中與其他用戶或者虛擬人和物進(jìn)行交流和交互，獲得類似于真實(shí)世界中的交互體驗(yàn)。

在交互技術(shù)方面，可以與人工智能融合，實(shí)現(xiàn)對外部環(huán)境的模擬和識別。光場顯示、裸手交互、現(xiàn)實(shí)捕捉、空間捕捉、表情捕捉、目光追蹤、即時定位與地圖構(gòu)建(SLAM)、大空間定位技術(shù)和由內(nèi)向外定位技術(shù)，都是目前研究的熱點(diǎn)，將會極大地?cái)U(kuò)展虛擬現(xiàn)實(shí)的使用場景和交互感受。

VR的融合構(gòu)想體驗(yàn)

虛擬現(xiàn)實(shí)的未來終極目標(biāo)應(yīng)該是虛擬世界與真實(shí)世界的融合，人與虛擬世界的融合，感知意識與Cyber網(wǎng)絡(luò)世界的融合。

這種融合的主要基礎(chǔ)是腦機(jī)技術(shù)和虛擬孿生技術(shù)。腦機(jī)技術(shù)通過對人腦和神經(jīng)信號的直接讀寫來完成人與外界的感知交互。可以通過直接讀取人的腦電波或神經(jīng)信號來控制對應(yīng)機(jī)器執(zhí)行相應(yīng)操作，也可以直接通過對相應(yīng)器官、腦和神經(jīng)進(jìn)行針對性刺激，而讓人產(chǎn)生特定的聲音影像感知。雖然目前無論是非侵入式還是侵入式的腦機(jī)技術(shù)都處于非常初級的階段，但未來預(yù)計(jì)腦機(jī)將淘汰各種顯示屏、音響系統(tǒng)、觸覺等各種感官系統(tǒng)，變成人與外接最重要最全面的交互感知方式。而人體虛擬孿生技術(shù)是伴隨腦機(jī)技術(shù)成長的不可或缺的內(nèi)容。通過虛擬孿生技術(shù)，可以對人體進(jìn)行100%符合度的數(shù)字建模，一方面可以應(yīng)用于醫(yī)學(xué)，另一方面更可以對人腦、神經(jīng)和意識進(jìn)行研究和創(chuàng)造性應(yīng)用，像電影《阿凡達(dá)》那種意識轉(zhuǎn)移可以讓人有完全真實(shí)的體驗(yàn)和感受，如可以在不同的VR社區(qū)中切換以體驗(yàn)不同的感受，過著不同的生活，并在人的肉體衰老后，將意識上傳至虛擬生活網(wǎng)絡(luò)，變成真正的意識永生。

圖3虛擬現(xiàn)實(shí)體驗(yàn)發(fā)展趨勢

2.2 VR技術(shù)進(jìn)展已推動沉浸感知體驗(yàn)的持續(xù)提升

大眾對虛擬現(xiàn)實(shí)的認(rèn)知由終端設(shè)備向沉浸感知體驗(yàn)演變。沉浸感知體驗(yàn)是虛擬現(xiàn)實(shí)系統(tǒng)最基本的特征，讓人脫離真實(shí)環(huán)境，沉浸到虛擬空間之中，獲得與真實(shí)世界相同或相似的感知。

沉浸感知體驗(yàn)隨著VR各方面技術(shù)的不斷發(fā)展而得到不斷的提升，大體可分為三個發(fā)展階段。

第一階段為用戶沉浸感增強(qiáng)階段，隨著在HMD分辨率、刷新率、FOV技術(shù)上的不斷突破，端到端傳輸解決方案的推陳出新，逐漸克服用戶眩暈問題，逐步提升用戶沉浸感體驗(yàn)。此階段依靠全封閉的頭戴顯示設(shè)備檢測頭部三個維度旋轉(zhuǎn)信息（左右旋轉(zhuǎn)pitch、上下旋轉(zhuǎn)yaw、軸向旋轉(zhuǎn)roll），為用戶提供3DoF（3 Degrees of Freedom）體驗(yàn)。結(jié)合耳機(jī)、運(yùn)動傳感器或其他設(shè)備，為用戶提供視覺、聽覺、觸覺等方面的感官體驗(yàn)，使達(dá)到身臨其境的感覺。

第二階段為用戶交互體驗(yàn)增強(qiáng)階段，根據(jù)用戶行為，模擬現(xiàn)實(shí)世界中的語音、聲音、光線、溫度等各種感官觸覺，實(shí)現(xiàn)用戶與虛擬環(huán)境交互的良好體驗(yàn)。相對于第一階段，除了為用戶提供三個維度旋轉(zhuǎn)帶來的視聽體驗(yàn)效果外，還提供向前/向后、向左/向右、向上/向下三個位置維度在有限范圍內(nèi)的頭部運(yùn)動體驗(yàn)。此階段依賴光場技術(shù)、點(diǎn)云技術(shù)的發(fā)展，借助混合現(xiàn)實(shí)MR頭盔、輕型化HMD的不斷更新?lián)Q代，為用戶提供具有立體視差、動態(tài)對焦、運(yùn)動視差、不同角度光照具有變化效果的有限范圍內(nèi)互動3DoF+體驗(yàn)。

第三階段為用戶融合虛擬環(huán)境階段，模擬人腦感官機(jī)理，通過一系列刺激手段“欺騙”人腦，使用戶徹底融入虛擬世界，無法區(qū)分現(xiàn)實(shí)世界與虛擬世界。這個階段借助于成熟光場采集、傳輸、顯示技術(shù)和實(shí)時建模技術(shù)，以輕型化視網(wǎng)膜屏為顯示載體，借助多感知技術(shù)實(shí)現(xiàn)左右旋轉(zhuǎn)、上下旋轉(zhuǎn)、軸向旋轉(zhuǎn)、向前/向后、向左/向右、向上/向下的6DoF（6 Degrees of Freedom）體驗(yàn)，為用戶提供完全的虛實(shí)一體化體驗(yàn)。

圖4 VR感知體驗(yàn)逐漸提升的三個階段

為了對VR各發(fā)展階段相關(guān)技術(shù)進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化，促進(jìn)VR產(chǎn)業(yè)的健康發(fā)展，MPEG組織專門成立了一個獨(dú)立的OMAF(Omnidirectional Media Format)工作組，其主要任務(wù)是對VR媒體（包括視頻，圖像，音頻和文本）的編碼、存儲、傳輸和呈現(xiàn)的格式進(jìn)行統(tǒng)一。預(yù)計(jì)在2018年初發(fā)布第一個OMAF標(biāo)準(zhǔn)；云編解碼、AR/VR音頻和點(diǎn)云壓縮相關(guān)標(biāo)準(zhǔn)預(yù)計(jì)在2019年到2020年標(biāo)準(zhǔn)化，與此同時，OMAF的第二個關(guān)于3DoF+的版本發(fā)布，在2020年到2022年，制定光場技術(shù)相關(guān)的新型視頻編碼標(biāo)準(zhǔn)，在此期間，制定沉浸式媒體應(yīng)用層格式標(biāo)準(zhǔn)，有效支撐VR產(chǎn)業(yè)的規(guī)范化。

圖5 MPEG-OMAF Roadmap

2.3 VR在行業(yè)和大眾領(lǐng)域的產(chǎn)業(yè)應(yīng)用曙光已現(xiàn)

VR產(chǎn)業(yè)鏈中，工具和設(shè)備類可細(xì)分為輸入設(shè)備、輸出設(shè)備、顯示設(shè)備、拍攝設(shè)備、以及相關(guān)軟件等；內(nèi)容制作可細(xì)分為影視、游戲等內(nèi)容；平臺可分為應(yīng)用商店、社交影院、實(shí)體體驗(yàn)店、播放器等內(nèi)容；行業(yè)應(yīng)用可細(xì)分為工業(yè)應(yīng)用和大眾應(yīng)用。國際電子信息巨頭企業(yè)將虛擬現(xiàn)實(shí)提升到戰(zhàn)略高度，積極布局構(gòu)建虛擬現(xiàn)實(shí)產(chǎn)業(yè)生態(tài)。Facebook、HTC、三星、索尼、微軟、谷歌、蘋果等國際巨頭企業(yè)搶占身位，在立體顯示、數(shù)據(jù)圖像處理、體感控制、智能交互等方面進(jìn)行了大量的技術(shù)和專利儲備，推出桌面式、臨鏡式、頭戴式、手套式、體感式等多個種類、多種款式的虛擬現(xiàn)實(shí)系統(tǒng)設(shè)備和開發(fā)平臺；英特爾、英偉達(dá)、意法半導(dǎo)體等推出了虛擬現(xiàn)實(shí)專用GPU芯片和傳感器件；高通連續(xù)發(fā)布了針對VR的旗艦級驍龍820和835處理器；谷歌、YouTube、索尼、?？怂沟冗€推出了虛擬現(xiàn)實(shí)視頻和游戲，加速了虛擬現(xiàn)實(shí)產(chǎn)業(yè)鏈的成熟與完善。

在大眾領(lǐng)域，2014年，影視作品開始登陸虛擬現(xiàn)實(shí)平臺，《星際穿越》在全美四家影院推出Oculus Rift虛擬現(xiàn)實(shí)頭盔特別版，讓觀眾融入浩瀚無邊的太空旅行；圣迭戈國際動漫展上，《環(huán)太平洋》和《X戰(zhàn)警：逆轉(zhuǎn)未來》通過Oculus Rift讓觀眾欣賞片段。2017年，派拉蒙正與VR社交公司Bigscreen，以及Oculus、三星、HTC和微軟等知名虛擬現(xiàn)實(shí)科技公司合作，計(jì)劃推出首個VR影院。觀眾帶上VR頭顯后，會發(fā)現(xiàn)自己坐在“影院”的大屏幕前，像在實(shí)體影院里一樣觀看電影。

在工業(yè)領(lǐng)域，通過虛擬現(xiàn)實(shí)技術(shù)去復(fù)制和創(chuàng)造，是一個非常高效、耗能極少的過程，尤其適用于高風(fēng)險(xiǎn)、耗材成本高、低重復(fù)頻率的應(yīng)用場景?；谔摂M現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)開展的工業(yè)領(lǐng)域的數(shù)字展示服務(wù)，能夠貫穿于整個生產(chǎn)制造環(huán)節(jié)，包括初期的市場研究、造型開發(fā)、工程開發(fā)以及市場開發(fā)階段。奧迪、福特、寶馬、克萊斯勒、豐田、沃爾沃等主流車企積極引入VR技術(shù)用于汽車研發(fā)、生產(chǎn)。在虛擬空間中構(gòu)建出與物理世界完全對等的數(shù)字鏡像，使得虛擬現(xiàn)實(shí)成為實(shí)現(xiàn)數(shù)字雙胞胎（Digital Twins）的核心技術(shù)之一。虛擬現(xiàn)實(shí)還廣泛應(yīng)用于醫(yī)療領(lǐng)域包括手術(shù)培訓(xùn)/導(dǎo)航、心理治療和康復(fù)訓(xùn)練等。

VR五大技術(shù)體系包括近眼顯示、內(nèi)容制作、網(wǎng)絡(luò)通信、渲染處理和感知交互。目前VR技術(shù)成熟度、硬件成本、產(chǎn)業(yè)鏈支持度、消費(fèi)者認(rèn)可度等因素仍制約著虛擬現(xiàn)實(shí)的廣泛應(yīng)用，關(guān)鍵挑戰(zhàn)主要集中在三個方面：體驗(yàn)質(zhì)量、網(wǎng)絡(luò)傳輸、計(jì)算能力，這三個方面的挑戰(zhàn)一定程度上限制了VR業(yè)務(wù)的快速發(fā)展，需要依賴產(chǎn)業(yè)鏈上各個環(huán)節(jié)共同發(fā)力去逐步解決這三方面的挑戰(zhàn)。

首先，體驗(yàn)質(zhì)量對產(chǎn)業(yè)成功至關(guān)重要。目前市場上大部分普通VR產(chǎn)品的業(yè)務(wù)體驗(yàn)質(zhì)量還不能滿足廣大用戶的期望，其主要問題體現(xiàn)在視覺信息質(zhì)量低，VR需要更高的分辨率、更廣的視場角，8K內(nèi)容分辨率僅是入門體驗(yàn)。視覺輻輳調(diào)節(jié)沖突，由于屏幕發(fā)出的光線并沒有深度信息，眼睛的焦點(diǎn)調(diào)節(jié)與視覺景深不匹配，從而產(chǎn)生眩暈。目前的HMD受制于屏幕和光學(xué)的設(shè)計(jì)，體積較大，同時也較重，使用者長時間佩戴的HMD舒適度差。

其次，VR業(yè)務(wù)對網(wǎng)絡(luò)傳輸提出了更高的要求。VR業(yè)務(wù)改變了人機(jī)交互的方式，既包含傳統(tǒng)的人機(jī)交互行為，又有VR特有的虛擬交互行為。不同的交互形式和預(yù)期帶來了對網(wǎng)絡(luò)傳輸?shù)牟煌枨蟆R業(yè)務(wù)所需要的網(wǎng)絡(luò)，關(guān)鍵在于提供穩(wěn)定的高帶寬和低時延，以保障VR業(yè)務(wù)的每一次交互行為體驗(yàn)。

最后，計(jì)算能力要滿足VR沉浸式體驗(yàn)帶來的海量數(shù)據(jù)計(jì)算以及實(shí)時性要求。目前，對計(jì)算能力的主要挑戰(zhàn)體現(xiàn)在本地設(shè)備渲染能力及成本過高，限制了VR業(yè)務(wù)的普及。當(dāng)前，手機(jī)式VR、一體式VR受限于有限的渲染能力，用戶沉浸體驗(yàn)較差。PC VR需要借助性能強(qiáng)大的高端主機(jī)和GPU，才能渲染出靚麗的視覺畫面，提供良好的交互體驗(yàn)。但由于高端主機(jī)的價(jià)格昂貴、技術(shù)門檻高，限制了VR業(yè)務(wù)在廣大用戶中的普及。當(dāng)前VR渲染處理的矛盾集中于用戶更高的體驗(yàn)需求與渲染能力的不足。因此優(yōu)化渲染算法，減少計(jì)算開銷，降低渲染時延成為發(fā)展趨勢，如利用注視點(diǎn)渲染技術(shù)減少GPU開銷，Multi-View渲染技術(shù)節(jié)省CPU資源，采用異步時間扭曲技術(shù)可以緩解端到端時延要求等。

圖6虛擬現(xiàn)實(shí)技術(shù)五大技術(shù)體系

3、IPTV VR業(yè)務(wù)與體驗(yàn)

依托IPTV業(yè)務(wù)、網(wǎng)絡(luò)和終端在智慧城市家庭的規(guī)?；采w能力，以及IPTV領(lǐng)域的技術(shù)創(chuàng)新活力，結(jié)合VR近眼顯示、感知交互、渲染處理、網(wǎng)絡(luò)傳輸和內(nèi)容制作等新技術(shù)的最新成果，通過標(biāo)準(zhǔn)化定制IPTV VR基礎(chǔ)能力、應(yīng)用場景、體驗(yàn)標(biāo)準(zhǔn)、業(yè)務(wù)實(shí)現(xiàn)，以應(yīng)用為驅(qū)動，在應(yīng)用中改進(jìn)VR沉浸體驗(yàn)技術(shù)、提高VR虛實(shí)交互技術(shù)，可以率先邁出規(guī)模化部署VR+業(yè)務(wù)創(chuàng)新的步伐。

IPTV VR業(yè)務(wù)分為不同的發(fā)展階段，第一階段為用戶沉浸感增強(qiáng)階段，隨著在HMD分辨率、刷新率、FOV技術(shù)上的不斷突破，端到端傳輸解決方案的推陳出新，逐漸克服用戶眩暈問題，逐步提升用戶沉浸感體驗(yàn)；第二階段為用戶交互體驗(yàn)增強(qiáng)階段，根據(jù)用戶行為，模擬現(xiàn)實(shí)世界中的語音、聲音、光線、溫度等各種感官觸覺，結(jié)合無線網(wǎng)絡(luò)的進(jìn)展實(shí)現(xiàn)用戶與虛擬環(huán)境交互的良好體驗(yàn)。

3.1 IPTV VR：打開VR+時代普及之路

VR影視賦予了觀眾身臨其境的沉浸體驗(yàn)，一方面表現(xiàn)為對分辨率、刷新率、色深、視場角、3D等更高畫質(zhì)的持續(xù)追求，這符合IPTV視頻業(yè)務(wù)一貫提升用戶體驗(yàn)的專注，通過虛擬巨幕影院作為IPTV VR應(yīng)用的切入點(diǎn)，以攻克8K以上超高分辨率VR全景視頻為技術(shù)的制高點(diǎn)，強(qiáng)化IPTV機(jī)頂盒對虛擬巨幕視頻的渲染處理和全景視頻魔方最優(yōu)化解碼能力。隨著IPTV機(jī)頂盒VR能力的標(biāo)準(zhǔn)化和提升，有機(jī)會演進(jìn)成為家庭VR基礎(chǔ)平臺，鞏固智慧家庭的入口地位。PC VR對主機(jī)成本和使用技術(shù)門檻要求高，用戶群體難以普及，移動VR主機(jī)局限大，IPTV VR使能的機(jī)頂盒業(yè)務(wù)場景清晰，VR巨幕影院、VR全景視頻、VR社交、VR購物存在無限可能性。未來家庭娛樂終端勢必進(jìn)一步分化為大屏電視、PC、移動終端、HMD終端，IPTV VR機(jī)頂盒可以鞏固外接大屏電視、搶占HMD的主機(jī)地位；IPTV VR機(jī)頂盒規(guī)?；钠占澳芰陀脩魧σ曨l體驗(yàn)追求的動力可以撬動體驗(yàn)優(yōu)良的HMD市場。

對于虛擬現(xiàn)實(shí)產(chǎn)業(yè)而言，顯示硬件是堡壘。2016年前后，隨著HTC Vive、Oculus Rift和索尼PSVR產(chǎn)品的相繼推出，標(biāo)志著虛擬現(xiàn)實(shí)的硬件門檻已經(jīng)顯著降低，但是這些HMD需要和高性能主機(jī)組合，這種硬件組合方式存在成本高、更新?lián)Q代速度快、笨重不舒適等問題。Google率先推出眼鏡盒子搭配手機(jī)的形式，但分辨率受限于手機(jī)屏幕，而且在透鏡的視角邊緣部分容易出現(xiàn)色散。

IPTV已經(jīng)具備開展第一階段沉浸體驗(yàn)業(yè)務(wù)的條件，以提供巨幕影院沉浸體驗(yàn)為支點(diǎn)，推動360度全景視頻、高體驗(yàn)HMD的創(chuàng)新和提升，可率先打開VR+時代普及之門，引領(lǐng)創(chuàng)新型VR新業(yè)務(wù)。在HMD設(shè)備尚未普及時，IPTV憑借大屏電視分辨率足夠，終端解碼能力、網(wǎng)絡(luò)帶寬能力相對較強(qiáng)，而且沒有眩暈問題的優(yōu)勢，將是對大規(guī)模用戶進(jìn)行VR業(yè)務(wù)體驗(yàn)培育引導(dǎo)的基礎(chǔ)；隨著HMD設(shè)備功能和體驗(yàn)的提升，尤其是頭顯分辨率和視場角的提升，VR巨幕視頻的體驗(yàn)將超越大屏電視，大幅提升HMD在家庭顯示的普及應(yīng)用；IPTV VR終端通過標(biāo)準(zhǔn)化接口和協(xié)議，支持2.5K、4K、8K各類能力的HMD設(shè)備，可廣泛激活用戶的體驗(yàn)興致。

IPTV VR將大大加快虛擬現(xiàn)實(shí)產(chǎn)業(yè)的發(fā)展進(jìn)程，給人們的生產(chǎn)方式和生活方式帶來革命性變化。具體的應(yīng)用場景包括：

1）VR巨幕影院：借助IPTV機(jī)頂盒和寬視場高分辨率的HMD，可以渲染出IMAX巨幕影院的視聽體驗(yàn)效果，用戶在家里即可不受檔期時間影響，享受媲美親臨影院的觀影。

2）VR全景視頻：全景視頻作為一種新的視頻消費(fèi)方式，在近幾年受到了人們的廣泛關(guān)注。在觀看全景視頻時，用戶可以通過轉(zhuǎn)動頭部觀看360度全景視頻的不同內(nèi)容，獲得全方位沉浸式的體驗(yàn)。

3）VR全景直播：在重要新聞事件、體育賽事、演唱會和發(fā)布會等大型賽事活動，結(jié)合VR全景直播可以實(shí)現(xiàn)足不出戶即可感知事件現(xiàn)場，不僅了解，更是親身參與。例如去年王菲“幻樂一場”演唱會VR全景直播，可以說VR全景直播將會成為娛樂賽事觀看和交流的一個重要方式。

4）VR社交：虛擬現(xiàn)實(shí)將開啟社交網(wǎng)絡(luò)2.0時代。VR社交突破了傳統(tǒng)社交的空間限制，通過虛擬化身、表情識別等更加精細(xì)豐富的交互方式，深化網(wǎng)絡(luò)社交體驗(yàn)。比如Facebook倡導(dǎo)的VR space人們可以在里面獲得類似現(xiàn)實(shí)生活卻又超于現(xiàn)實(shí)的社交體驗(yàn)。

5）VR游戲：虛擬現(xiàn)實(shí)與視頻游戲的結(jié)合將為用戶帶來更為真實(shí)而強(qiáng)烈的感官刺激，而龐大的用戶基數(shù)以及核心玩家對于新技術(shù)的開放性態(tài)度使得視頻游戲有望成為最先發(fā)展起來的VR大眾市場。

IPTV的兩大歷史使命，一方面是挖掘體驗(yàn)領(lǐng)先的業(yè)務(wù)以提升用戶粘性，實(shí)現(xiàn)價(jià)值變現(xiàn)，另一方面是需要創(chuàng)新領(lǐng)先的業(yè)務(wù)來普及百兆、邁向千兆，培育千兆寬帶的需求。VR+時代的到來為IPTV實(shí)現(xiàn)兩大歷史使命提供了新的契機(jī)。以IPTV VR全景視頻業(yè)務(wù)為例，可以讓用戶足不出戶即可享受多種VIP服務(wù)：參與明星演唱會，實(shí)現(xiàn)與偶像明星近距離、無死角互動，營造出一種與樂隊(duì)成員或明星一同在舞臺上的“完全在場”的現(xiàn)場感，彌補(bǔ)因時間空間限制而無法親臨的遺憾；參與體育賽事，解決因座位數(shù)量、觀看位置限制，以更低的付費(fèi)成本，享受最佳的VIP視角體驗(yàn)；參與電競游戲，選手和競技場景融為一體，和身邊的人做虛擬化的互動（擊掌），對比賽數(shù)據(jù)和戰(zhàn)術(shù)做多樣化的交流，增強(qiáng)用戶參與感和沉浸感，游戲具有高度可玩性和客戶粘性；享受虛擬購物體驗(yàn)，仿佛置身于各種國內(nèi)外百貨超市、藥妝店、專賣店和Freedom Food生態(tài)農(nóng)場，利用消費(fèi)者視點(diǎn)在顯示物品信息，短時間內(nèi)“穿梭”在世界各賣場，隨心所欲地挑選中意的物品。

3.2 VR巨幕影院：提供影院級視聽體驗(yàn)成為可能

傳統(tǒng)而言，電視無法提供影院級的視聽體驗(yàn)。影院級體驗(yàn)的核心主要體現(xiàn)在巨幕視覺、優(yōu)質(zhì)畫面、靈動音效等方面，這些特性均是傳統(tǒng)電視無法媲美的。然而影院觀影有其局限性，那就是必須在特定的地點(diǎn)和時間觀看。IPTV機(jī)頂盒加上體驗(yàn)優(yōu)良的HMD，結(jié)合客廳電視的便利性，提供影院觀影的優(yōu)質(zhì)體驗(yàn)，這就是VR巨幕影院。

IPTV已經(jīng)可以支持全4K視頻，提供高動態(tài)和寬色域，也能夠解碼和播放多聲道全景聲音頻。體驗(yàn)優(yōu)質(zhì)的VR頭顯可突破顯示設(shè)備物理尺寸的限制，呈現(xiàn)巨幕視覺效果。通過高品質(zhì)耳機(jī)實(shí)現(xiàn)虛擬空間音頻回放，提供逼真的臨場音效。這樣用戶即使坐在家中，也可以感受到類似巨幕影院一般的觀影體驗(yàn)。同時，IPTV平臺HD、4K視頻資源豐富，用戶選擇自由、豐富，可以不受電影院放映時間及內(nèi)容選擇等限制。

圖7 VR巨幕影院效果圖

此外，VR巨幕影院還具有多項(xiàng)獨(dú)特優(yōu)勢。借助IPTV機(jī)頂盒GPU的渲染能力，可以任意更換場景，比如將影院環(huán)境切換為客廳、泳池、街道、草地、山頂?shù)热魏斡脩粝矚g的場景，一鍵“換膚”，這相比真實(shí)的影院具有獨(dú)特優(yōu)勢。VR巨幕影院可以充分利用IPTV現(xiàn)有的一切視頻和直播資源，這比真實(shí)影院的內(nèi)容豐富得多。VR巨幕影院的音頻采用耳機(jī)播放，私密性高，不會像傳統(tǒng)電視機(jī)那樣影響他人，用戶可以隨時觀影。VR巨幕影院還可以承載社交功能，在虛擬場景中加入觀影伙伴，可以將人物設(shè)定為觀看者指定的虛擬角色，甚至將真實(shí)人物虛擬化后呈現(xiàn)出來，并允許觀看者與虛擬人物互動，實(shí)現(xiàn)“共同觀影”。另外VR巨幕影院場景中還可以加上形式靈活的商業(yè)廣告，包括但不限于靜態(tài)廣告、2D/3D動態(tài)廣告、互動廣告等形式，具有特殊的商業(yè)價(jià)值。

3.3 VR全景視頻：布局8K高分辨率提升業(yè)務(wù)體驗(yàn)

不同于VR巨幕影院，VR全景視頻提供了觀看者360度環(huán)繞的畫面，觀看者通過改變頭部的位置實(shí)現(xiàn)視角的切換，為觀看者提供了虛擬現(xiàn)實(shí)沉浸式的“親身體驗(yàn)”和“現(xiàn)實(shí)生活”，在VR的諸多應(yīng)用形態(tài)中VR全景視頻將成為最先繁榮的VR應(yīng)用。目前在線VR視頻內(nèi)容多樣，包括舞臺、旅游、紀(jì)錄片等，可以滿足觀眾的各類需求。在重要新聞事件、體育賽事、演唱會和發(fā)布會等大型賽事活動，結(jié)合全景視頻直播可以實(shí)現(xiàn)足不出戶即可感知事件現(xiàn)場，如同親身參與，例如2017年央視春晚VR直播等。

圖8 VR全景視頻效果圖（2017年央視春晚VR直播）

從用戶體驗(yàn)角度，VR全景視頻需要更大的視頻分辨率（8K以上）才能帶來更好的體驗(yàn)。用戶觀看VR全景視頻時，單眼實(shí)際可視信息只是全部球面數(shù)據(jù)的一部分，如視場角（FOV）為90度，則單眼可視信息僅為球面信息的1/6。傳統(tǒng)意義上說的視頻分辨率對應(yīng)于球面全視角分辨率，真正決定體驗(yàn)的是單眼分辨率。由于VR終端遠(yuǎn)高于傳統(tǒng)終端的視場角，決定了對應(yīng)同樣的PPD，VR需要更高的分辨率。以FOV=90度為例，全視角360度8K分辨率，對應(yīng)單眼分辨率2K、PPD=22，用戶看到的畫面質(zhì)量實(shí)際只接近于在TV上觀看480P的PPD效果。

VR全景視頻的高分辨率依賴內(nèi)容、傳輸、終端等多方面的支持，IPTV率先布局支持8K以上高分辨率視頻，將把VR全景視頻的體驗(yàn)提升到可運(yùn)營業(yè)務(wù)的級別，對滿足用戶對VR的預(yù)期和提升IPTV業(yè)務(wù)的創(chuàng)新力具備重要的意義。

VR全景視頻業(yè)務(wù)的發(fā)展以用戶體驗(yàn)提升為主線，是畫質(zhì)不斷提升，沉浸感越來越好的演進(jìn)過程。未來，單眼畫質(zhì)將逐步達(dá)到視網(wǎng)膜級，用戶看到的畫面質(zhì)量將接近于在傳統(tǒng)TV上觀看4K的PPD效果。不僅如此，VR全景視頻的體驗(yàn)還會從視頻和音頻兩方面努力，采用如3D聲場技術(shù)，做到不僅畫質(zhì)清晰，聲音也更逼真。如采用3D聲場技術(shù)的8K VR音樂視頻，相比普通8K視頻，其3D聲場音效，包含聲音的混響、方位、衰減、空間化及多角度的音效，大幅提升音樂的聽覺體驗(yàn)，如同真正在現(xiàn)場聽到的一樣。

4、IPTV VR系統(tǒng)技術(shù)要求

4.1 IPTV VR關(guān)鍵技術(shù)：基于OMAF視點(diǎn)全景視頻魔方框架

在VR全景視頻應(yīng)用場景中，VR全景視頻把現(xiàn)場清晰（高分辨率、大景深）、完整（無死角無遮擋無裂痕）地記錄下來，由用戶自己決定看怎樣的畫面，它的核心是超高分辨率（8K以上）。IPTV VR系統(tǒng)如何實(shí)現(xiàn)對超高分辨率全景視頻的傳輸和解碼，并適配用戶所用網(wǎng)絡(luò)、終端、HMD能力的提升而提供更高更好的體驗(yàn)，是開展高體驗(yàn)VR全景視頻業(yè)務(wù)的挑戰(zhàn)。

全景視頻覆蓋360度視場，而人眼的視角范圍通常約為120度，因此人眼視角下看到的有效球面信號約為球面全景信號的27%?，F(xiàn)有的VR終端設(shè)備（如電視、VR眼鏡）可支持的視角大約在90°~110°之間，良好的視覺體驗(yàn)需要局部視場角輸出的視頻分辨率達(dá)到高清甚至4K分辨率，這就要求全景視頻的分辨率遠(yuǎn)高于4K，達(dá)到8K甚至16K以上。

全視角傳輸方案是將360度環(huán)繞的畫面都傳輸給終端，當(dāng)用戶頭部轉(zhuǎn)動觀看特定視角的畫面時，終端即時(Just-in-time)完成包括碼流解析、視頻解碼和畫面渲染等處理。VR畫面在相同單眼可視分辨率情況下，由于幀率、位深、360度全景等原因，碼率要比普通TV視頻大很多，一般是普通TV視頻的5至10倍。這種方案特點(diǎn)是視角切換時畫面過渡平滑，兼容行較好，但是對IPTV系統(tǒng)網(wǎng)絡(luò)傳輸高帶寬低時延、超高分辨率視頻解碼和渲染輸出三個方面的能力提出了高難度的挑戰(zhàn)。具體而言，如果將360度全景視頻通過經(jīng)緯圖映射成常規(guī)的二維視頻進(jìn)行編碼、傳輸、解碼和呈現(xiàn)，首先由于分辨率的顯著增加，編碼處理能力和網(wǎng)絡(luò)傳輸帶寬將成數(shù)倍增加；更為嚴(yán)重的是在終端解碼上需要解碼超高分辨率的全視角視頻內(nèi)容，而呈現(xiàn)給用戶的只是其中一部分內(nèi)容，終端解碼資源存在浪費(fèi)，而終端解碼能力正是目前開展超高分辨率全景視頻業(yè)務(wù)的最短板。

圍繞這三個部分的挑戰(zhàn)，，業(yè)界展開大量的研究，比如Facebook率先提出把經(jīng)緯圖重新映射到立方體的轉(zhuǎn)換，使用多點(diǎn)投影的方式來進(jìn)行二者之間的像素點(diǎn)切換。將經(jīng)緯圖頂部的25％轉(zhuǎn)換為一個立方體面，將底部的25％轉(zhuǎn)換為另一個面，中間的50％轉(zhuǎn)換為四個面。通過這樣的映射轉(zhuǎn)換，每幀的像素?cái)?shù)量減少了25％，從而提高了編碼端的效率，并有效的降低了解碼端的能力需求。為了進(jìn)一步降低網(wǎng)絡(luò)傳輸?shù)睦速M(fèi)，近期基于動態(tài)視點(diǎn)(Field of View)的全景視頻自適應(yīng)傳輸方案成為熱點(diǎn)和共識。如Facebook提出了金字塔模型，金字塔模型的底部為高質(zhì)量用戶視角區(qū)域，隨著金字塔高度的上升，其他區(qū)域通過亞采樣降低分辨率。當(dāng)用戶切換視角時，不是給用戶看該金字塔其他表面的低質(zhì)量視頻，而是切換到另一個視角為底部高質(zhì)量內(nèi)容的金字塔模型視頻。從而在不降低視窗質(zhì)量的條件下，降低全景視頻的碼率。HHI提出了基于視頻分塊（Tile）的全景視頻傳輸方案，思路是根據(jù)用戶的觀看視點(diǎn)和視角，只傳輸和解碼FOV內(nèi)的內(nèi)容，采用部分傳輸和部分解碼的方式減輕對網(wǎng)絡(luò)帶寬和終端解碼的壓力。

4.1.1基于視點(diǎn)的全景視頻魔方編解碼

基于視點(diǎn)的全景視頻魔方方案利用全景視頻播放和顯示局部視場角的特性，結(jié)合了視點(diǎn)自適應(yīng)、MCTS（Motion-Constrained Tile Sets）編碼、多分辨率和多Tile劃分，把VR全景視頻描述成魔方形態(tài)，終端播放根據(jù)用戶頭部朝向和芯片的解碼能力約束進(jìn)行最優(yōu)化的視頻分辨率/Tile的選擇、解碼、渲染和顯示。

圖9 VR全景視頻魔方編解碼系統(tǒng)

全景視頻播放的最優(yōu)化主要受限于解碼器的解碼能力與網(wǎng)絡(luò)傳輸性能，為了獲取最佳的體驗(yàn)效果，通過建立如下的目標(biāo)函數(shù)

其中表示解碼的Tile，表示全景視頻魔方，比如原始12K全景視頻處理形成的8K/4K/2K組合的全部Tile集。表示基于視點(diǎn)的解碼渲染輸出，該函數(shù)值越大，表示通過解碼這些Tile獲取的用戶體驗(yàn)越好。為了獲取目標(biāo)函數(shù)的最優(yōu)值，可以從如下考慮：

1）根據(jù)終端HMD設(shè)備的分辨率和視場角確定視點(diǎn)包含的Tile范圍；

2）在網(wǎng)絡(luò)能力允許的條件下，獲取更多視點(diǎn)內(nèi)高分辨率的Tile；

3）在解碼能力允許的下，解碼更多高分辨率的Tile用于顯示。

4.1.2基于視點(diǎn)自適應(yīng)的Tile-based傳輸方案

在網(wǎng)絡(luò)條件良好的情況下，傳輸全部全景視頻魔方可以帶來良好的視覺體驗(yàn)；在網(wǎng)絡(luò)帶寬不足的情況下，只傳輸用戶視角觀看范圍內(nèi)容的高質(zhì)量Tile視頻分塊和最低質(zhì)量全視角視頻，可以有效保證在低帶寬條件下優(yōu)先給視角范圍內(nèi)的Tile視頻分配帶寬資源，被MPEG組織OMAF工作組在《ISO/IEC FDIS 23090-2 Omnidirectional Media Format》標(biāo)準(zhǔn)文檔中采納并推薦。

按需傳輸、部分解碼策略的基于視點(diǎn)自適應(yīng)Tile-based傳輸方案可以有效解決IPTV VR業(yè)務(wù)應(yīng)用中的高分辨率全景視頻傳輸帶寬、解碼能力和渲染輸出三大問題，根據(jù)用戶的即時觀看區(qū)域動態(tài)地選擇傳輸全景魔方視頻Tile視頻分塊，可以有效地節(jié)省網(wǎng)絡(luò)流量開銷。同時為了保障用戶轉(zhuǎn)頭時，無察覺地切換新視點(diǎn)高質(zhì)量內(nèi)容，傳輸一個質(zhì)量基本可接受的全景視頻流。

圖10 VR全景視頻魔方視點(diǎn)自適應(yīng)傳輸

基于視點(diǎn)的全景視頻傳輸方案難以避免地會在用戶快速轉(zhuǎn)頭時出現(xiàn)新舊視點(diǎn)的高質(zhì)量Tile切換間隙，Tile-based方案采用基本質(zhì)量的全景視頻補(bǔ)充這一時間段內(nèi)的視點(diǎn)內(nèi)容，一定程度上緩解了切換時主觀不適感。為了進(jìn)一步提升用戶主觀體驗(yàn)，可以采用視點(diǎn)預(yù)測技術(shù)，對下一時刻的新視點(diǎn)進(jìn)行預(yù)測，對新視點(diǎn)Tile內(nèi)容實(shí)現(xiàn)預(yù)下載和預(yù)緩存。目前在部分頭顯和手機(jī)上已采用預(yù)測跟蹤技術(shù)，包括Oculus公司開發(fā)的異步時間扭曲（ATW，Asynchronous Time Warp）功能，在畫面渲染的同時，可以追蹤用戶的頭部動作；高通公司在驍龍835芯片上集成了六自由度視覺慣性測距（6DOF）、眼部追蹤和手勢追蹤功能。這些預(yù)測跟蹤數(shù)據(jù)可以有效地指導(dǎo)VR傳輸系統(tǒng)對新視角進(jìn)行預(yù)下載和預(yù)緩存，減低新舊視點(diǎn)高質(zhì)量內(nèi)容之間的切換時間。

4.2 IPTV VR關(guān)鍵技術(shù)：基于解碼渲染的機(jī)頂盒芯片架構(gòu)

IPTV VR對機(jī)頂盒芯片的挑戰(zhàn)在于以盡可能低的成本代價(jià)實(shí)現(xiàn)新的解碼渲染架構(gòu)，提供足夠的驅(qū)動力把HMD的性能和VR全景視頻內(nèi)容的效果充分發(fā)揮出來。

與傳統(tǒng)機(jī)頂盒芯片由專用定制電路ASIC進(jìn)行視頻解碼、后處理和輸出的處理流程不同，VR通常是依賴強(qiáng)大的GPU完成視頻解碼、立體建模、紋理映射、局部投影、雙目渲染、反畸變、反色散、ATW等處理。與傳統(tǒng)的PC主機(jī)VR需要完成各種實(shí)時復(fù)雜場景建模不同，IPTV VR重點(diǎn)在虛擬視頻處理上，通過新的解碼、渲染、顯示架構(gòu)，由專用定制電路ASIC完成解碼，基礎(chǔ)變換和渲染由GPU進(jìn)行，雙目輸出、反畸變、反色散、ATW由專用定制電路的DPU模塊完成。新的機(jī)頂盒芯片架構(gòu)得以盡可能低的成本代價(jià)實(shí)現(xiàn)體驗(yàn)優(yōu)良的VR視頻處理能力，同時釋放GPU的計(jì)算能力用于UI、背景、場景的渲染，這是推動IPTV VR普及的重要前提之一。

圖11機(jī)頂盒芯片架構(gòu)的變化

對機(jī)頂盒芯片架構(gòu)的首要影響就是需要支持HMD設(shè)備，為了解決近距離觀看和視場角的問題，通常會在HMD內(nèi)部加入透鏡，由于透鏡光學(xué)特性會引起畸變和色散，造成觀看者的不適。為了看到正常的圖像，需要在機(jī)頂盒芯片DPU中加入對應(yīng)的反向處理，如反畸變和去色散。要達(dá)到單眼2K@75Hz的顯示，反畸變和去色散要處理的數(shù)據(jù)會達(dá)到600Mpix/s。

引起眩暈的一個主要原因是MTP(Motion To Photon)時延大，目前公認(rèn)的是MTP時延低于20ms能大幅減少暈動癥的發(fā)生；另一方面，為減輕不流暢的畫面引起的眩暈，HMD顯示刷新率要達(dá)到75Hz以上。異步時間扭曲（ATW）是一種生成中間幀的技術(shù)，當(dāng)解碼或者GPU不能保持足夠幀率的時候，ATW能產(chǎn)生中間幀，減少抖動，有效降低眩暈感。為提供更好的沉浸體驗(yàn)，IIPTV VR機(jī)頂盒芯片VR視頻處理流程包括解碼、ERP投影映射、反畸變、去色散、ATW、雙目渲染，當(dāng)用戶頭部轉(zhuǎn)動，需要通過并行處理的架構(gòu)在10-15ms內(nèi)完成VR視頻的處理。

圖12機(jī)頂盒芯片支持VR HMD顯示交互

基于解碼渲染的IPTV VR機(jī)頂盒芯片架構(gòu)能夠提升圖像清晰度，消除HMD帶來的畸變和色散，降低時延，提高顯示刷新率，提供更好的沉浸體驗(yàn)，與傳統(tǒng)機(jī)頂盒GPU解決方案相比，具有低延時、低帶寬、低內(nèi)存、低成本、低功耗、高性能的優(yōu)點(diǎn)，可以有效提升VR沉浸體驗(yàn)。

1）降低視頻處理延時

將ATW、反畸變、去色散等VR全景視頻處理子模塊集成到VR處理模塊內(nèi)，在顯示輸出模塊完成雙屏同步的處理后輸出到屏幕顯示，相比傳統(tǒng)架構(gòu)GPU處理，集成了在線并行處理的VR處理模塊的新架構(gòu)可以有效地降低MTP時延。

2）降低內(nèi)存及帶寬需求

在線并行處理的VR處理模塊，相比GPU處理，可以減少多次讀寫外部memory的帶寬，同時精細(xì)的片外memory的訪問行為控制，可以降低內(nèi)存空間的需求。

3）降低成本及功耗

為了達(dá)到較好的沉浸效果，如果采用傳統(tǒng)機(jī)頂盒架構(gòu)，需要一個性能十分強(qiáng)大的GPU，成本和功耗都十分巨大。IPTV VR機(jī)頂盒芯片在使用GPU外，用VPU和DPU處理模塊加速運(yùn)算，可以大大降低芯片的成本；所有模塊可以采用并行架構(gòu)，降低芯片的工作頻率，有效降低芯片的功耗。

另外，IPTV VR機(jī)頂盒芯片架構(gòu)需要支持VR各種定位、傳感、交互信息的處理和響應(yīng)，包括從最基本的藍(lán)牙手柄操控設(shè)備、頭部姿態(tài)傳感信息到inside-out定位跟蹤處理。

圖13機(jī)頂盒芯片支持定位跟蹤

機(jī)頂盒芯片作為IPTV VR主機(jī)的關(guān)鍵單元，未來在提升VR體驗(yàn)、豐富VR功能、降低成本的方向上，將隨近眼顯示、內(nèi)容制作等技術(shù)的提升而迭代前進(jìn)。

4.3 IPTV VR業(yè)務(wù)平臺技術(shù)要求

以IPTV業(yè)務(wù)平臺系統(tǒng)為基礎(chǔ)、為承載，推動IPTV業(yè)務(wù)平臺面向新興媒體傳播移動化、社交化、視頻化的趨勢演進(jìn)，通過開放VR視頻、直播、社交、游戲、電商內(nèi)容入口，新增建設(shè)以VR視頻內(nèi)容預(yù)處理和VR云渲染為核心引擎的平臺，規(guī)模部署VR使能機(jī)頂盒終端，支持進(jìn)行“VR+”（泛指全景視頻、VR社交、VR直播、VR游戲、VR購物等新業(yè)務(wù)新模式）創(chuàng)新業(yè)務(wù)。

圖14 IPTV VR業(yè)務(wù)平臺系統(tǒng)

VR全景視頻預(yù)處理能力針對超高分辨率的ERP全景內(nèi)容，進(jìn)行全景視頻魔方的轉(zhuǎn)換處理，提供給CDN進(jìn)行分發(fā)。以基于視點(diǎn)的全景視頻魔方編解碼方式為例，具體處理包括：

1）超高分辨率視頻的Tile劃分和重新組合。考慮到ERP映射視頻的特點(diǎn)，以12K視頻為例，一種可行的劃分方式是把12K視頻整體劃分為48個Tile，具體而言，將經(jīng)緯圖垂直方向分辨率進(jìn)行六等分，水平方向分辨率按照12、8、4等分方式進(jìn)行劃分，劃分后的Tile統(tǒng)一scale到最小Tile分辨率規(guī)格上。再按照相同順序把scale后的Tile重新組合成新的8x6的矩形視頻。

圖15全景視頻的分Tile方式

2）建立全景魔方，進(jìn)行MCTS編碼和DASH/HLS索引。考慮到分Tile劃分后的全景視頻需要適配多種解碼能力和顯示能力的場景，因此對原始分辨率視頻進(jìn)行1/2下采樣后，進(jìn)一步根據(jù)上述分Tile策略進(jìn)行分Tile和組合，同時從原始分辨率視頻scale一個2K分辨率的視頻，三個視頻構(gòu)成了類似魔方式的視頻組合，分別采用MCTS編碼后，依據(jù)DASH或者HLS方式進(jìn)行切片建立索引。

圖16全景視頻魔方的構(gòu)建

VR超高分辨率全景視頻比普通平面視頻的碼率高出十倍以上，基于Tile-based劃分的編碼方式可以降低50%以上的碼率傳輸，但也會存在多個Tile同時下載的問題（平均15個以上）。如果采用傳統(tǒng)分發(fā)方式，尋址Tile文件全部傳輸將對CDN形成很大的壓力。為了解決這些問題，CDN采用基于Tile的優(yōu)化分發(fā)方法，主要思路在于：

1）對超高分辨率全景視頻按照MCTS進(jìn)行編碼，CDN只發(fā)送用戶請求的Tile視頻，降低全景視頻網(wǎng)絡(luò)傳輸?shù)睦速M(fèi)，并減輕對CDN分發(fā)網(wǎng)絡(luò)的沖擊；

2）提供多種分級的質(zhì)量視頻內(nèi)容供分辨率格式給終端自適應(yīng)請求。，網(wǎng)絡(luò)擁堵、質(zhì)量下降時，終端請求低質(zhì)量分辨率視頻減少卡頓現(xiàn)象，避免視頻播放流暢度受到影響；

3）采用多Tile預(yù)拼接技術(shù)，通過將用戶索引的Tile進(jìn)行預(yù)拼接，減少查詢和讀取CDN服務(wù)的次數(shù)，避免因?yàn)檫@種頻繁小文件查詢和讀取對CDN性能造成影響非常大；

4）引入大數(shù)據(jù)處理和深度學(xué)習(xí)等技術(shù)，獲取用戶觀看的興趣區(qū)域，并預(yù)估用戶的觀看內(nèi)容，提前準(zhǔn)備需要發(fā)送的內(nèi)容，降低發(fā)送與請求之間的時延。

當(dāng)前IPTV支持VR視頻的場景，主要包括VR點(diǎn)播、VR直播、VR游戲等三大場景。IPTV業(yè)務(wù)平臺升級改造涉及到包括針對高分辨率VR全景視頻預(yù)處理能力和針對渲染密集的VR云游戲渲染處理能力，對CDN提出更高的并行流化能力和對EPG提出VR UI及內(nèi)容的展現(xiàn)能力的提升。面向VR業(yè)務(wù)，IPTV業(yè)務(wù)平臺需要在組播能力、CDN提升、業(yè)務(wù)運(yùn)維和保障等方面進(jìn)行優(yōu)化：

提供組播能力承載VR視頻直播業(yè)務(wù)

使用組播來承載VR直播業(yè)務(wù)，網(wǎng)絡(luò)流量和CDN負(fù)載不會隨著VR直播接入的觀看用戶數(shù)的增加而增加，是IPTV保障用戶體驗(yàn)的重要利器，然而VR直播業(yè)務(wù)需要更高的傳輸帶寬和網(wǎng)絡(luò)QoS保障。

CDN需要更高的并行出流能力以支持VR點(diǎn)播

隨著VR視頻的分辨率提升，以及全景視頻魔方的應(yīng)用，單個用戶從過去的請求一路CDN流，發(fā)展為同時請求多路CDN流，為了保證多個用戶的觀看體驗(yàn)，這就要求CDN具備更高的并發(fā)加速流化能力。

面向VR業(yè)務(wù)的端到端運(yùn)維能力與QoE評估體系

相比于普通二維視頻，VR業(yè)務(wù)從視頻內(nèi)容制作到終端觀看的過程更加復(fù)雜。這種情況下帶來故障種類多，視頻體驗(yàn)劣化難定界，因此需要基于用戶VR體驗(yàn)評估的基礎(chǔ)上，實(shí)現(xiàn)端到端業(yè)務(wù)運(yùn)維能力，做到故障快速感知和定界。

針對VR提供不同的業(yè)務(wù)優(yōu)先級保障

無論VR直播，還是VR點(diǎn)播，若與其他視頻業(yè)務(wù)一起無差異處理，無法保證業(yè)務(wù)端到端的質(zhì)量。業(yè)務(wù)平臺提供業(yè)務(wù)保障優(yōu)先級確保系統(tǒng)內(nèi)部資源分配到VR業(yè)務(wù)，確保VR視頻業(yè)務(wù)的體驗(yàn)不劣化。

未來IPTV VR業(yè)務(wù)平臺將隨著VR業(yè)務(wù)的發(fā)展，繼續(xù)在下面幾個方面進(jìn)行增強(qiáng)演化：

1）系統(tǒng)架構(gòu)：面向媒體信息傳播移動互聯(lián)化、社交化和視頻化的趨勢，推動基于云計(jì)算、SDN/NFV的IPTV系統(tǒng)架構(gòu)演進(jìn)。把新的系統(tǒng)架構(gòu)在采用基于虛擬化能力共享及云化動態(tài)伸縮的NFV/SDN上，通過標(biāo)準(zhǔn)化的IPTV平臺組件和高性能、標(biāo)準(zhǔn)化及能力開放的CDN部件，以開放架構(gòu)、平臺松耦合的方式實(shí)現(xiàn)業(yè)務(wù)的快速創(chuàng)新、彈性部署，應(yīng)對海量突發(fā)業(yè)務(wù)與流量。

2）服務(wù)模式：應(yīng)對新興媒體視頻化、長尾化、即時傳播、按需服務(wù)、海量傳播的特點(diǎn)，基于大數(shù)據(jù)分析，在新的系統(tǒng)架構(gòu)上構(gòu)建彈性按需服務(wù)模式，以用戶行為大數(shù)據(jù)分析優(yōu)化計(jì)算和傳輸資源，以云資源的彈性應(yīng)對用戶服務(wù)按需請求處理的動態(tài)性和不可預(yù)測性。

3）內(nèi)容分發(fā)：面向用戶視頻服務(wù)超高清化、虛擬體驗(yàn)化的業(yè)務(wù)需求，通過優(yōu)化8K以上超高分辨率全景視頻流化服務(wù)和網(wǎng)絡(luò)流量分布，在IPTV系統(tǒng)架構(gòu)上建設(shè)存儲高效、網(wǎng)絡(luò)均衡、更智能調(diào)度和流媒體能力優(yōu)化的CDN平臺。

4）業(yè)務(wù)創(chuàng)新：面向VR+業(yè)務(wù)創(chuàng)新需求和結(jié)合IPTV系統(tǒng)能力開放，構(gòu)建VR能力開放體系，開放提供協(xié)同、跨界、融合的創(chuàng)新業(yè)務(wù)，探索“VR+X”（X泛指直播、社交、購物、游戲等新業(yè)務(wù)新模式）的融合服務(wù)的模式。

4.4 IPTV VR內(nèi)容技術(shù)要求

全景視頻與傳統(tǒng)視頻有明顯的差別，傳統(tǒng)視頻制作是藝術(shù)創(chuàng)造過程，全景視頻制作則是記錄，核心是技術(shù)，不能用傳統(tǒng)視頻制作的思維制作全景視頻。全景視頻制作設(shè)備要求高，成像分辨率可通過增加攝像機(jī)個數(shù)積木式擴(kuò)展。8K VR全景視頻需要多個攝像頭同時拍攝并實(shí)時處理。相比制作傳統(tǒng)二維視頻，技術(shù)挑戰(zhàn)和難度更大，主要體現(xiàn)在：多攝像頭空間位置統(tǒng)一校準(zhǔn)；多攝像頭采集畫面的亮度和色彩一致性；相鄰攝像頭重疊畫面的處理；將多攝像頭畫面拼接并映射到二維平面，以兼容已有編解碼器；實(shí)時完成8K甚至更高分辨率視頻內(nèi)容編碼壓縮處理。

圖17 VR全景視頻攝像機(jī)積木式擴(kuò)展

拼接是全景視頻制作過程中技術(shù)難度較高的環(huán)節(jié)，。目前一般采用全局直方圖均衡化和色彩校正技術(shù)解決各攝像頭由于各方面的差異性導(dǎo)致的亮度、色調(diào)不一致的問題，以保證待拼接的畫面亮度和色調(diào)的一致性，降低拼接難度，保障拼接后良好的主觀效果。涉及到各攝像頭采集畫面亮度不一致。通常先統(tǒng)計(jì)亮度直方圖再統(tǒng)一調(diào)整，確保輸出全景畫面亮度均勻。各鏡頭采集的畫面本身存在一定畸變，在拼接前需要先做畸變校正糾正再拼接，然后檢測。相鄰攝像頭畫面內(nèi)容之間配對的特征點(diǎn)和線，對拼接之間有重合部分，需要精確標(biāo)定錨點(diǎn)標(biāo)定，然后對重疊區(qū)域進(jìn)行細(xì)致融合，充分保證確保交界處無拼接痕跡沒有痕跡且不降低清晰度。將拼接后的360度全景視頻映射為二維平面視頻，采用已有的編碼器進(jìn)行編碼壓縮后傳輸或存儲。拼接環(huán)節(jié)通常會通過ERP映射生成一幅幅矩形畫面，再進(jìn)行編碼。

3D全景視頻相比2D全景視頻的優(yōu)勢在于能夠提供立體感，但這也需要在畫面采集時采用就用兩雙套攝像頭裝置分別模擬采集左眼和右眼，采取一定的視差對內(nèi)容進(jìn)行采集的畫面，才能保留雙眼視差信息，因而3D全景視頻相比2D全景視頻制作難度更高，不僅需要特殊的全景相機(jī)，而且左右眼畫面都需要單獨(dú)拼接和編碼，需要處理的數(shù)據(jù)量像素量增加一倍。

目前3DOF全景視頻支持都是3DoF，即觀看者在roll、pitch、yaw三個方向維度可以旋轉(zhuǎn)頭部觀看各視點(diǎn)的內(nèi)容自由運(yùn)動。為了提高交互性，未來6DoF6DOF視頻將成為主流，代表全景視頻下一步的發(fā)展方向。Facebook推出了一種初級的6DoF6DOF內(nèi)容采集設(shè)備來自Facebook，它的其攝像頭分為多組，每組拍攝不同深度的視頻，再通過后期制作手段將這些不同深度的視頻融合為6DoF6DOF視頻。另一種6DoF設(shè)備是Lytro的光場相機(jī)，它采用密集的鏡頭陣列捕捉不同景深深度畫面，相比第一種設(shè)備優(yōu)點(diǎn)是觀看者可以小范圍移動位置，不必固定視覺中心，而且不同景深畫面的清晰度更高。還有來自Intel的Free-D，它圍繞賽場布置多個攝像頭來錄制視頻，觀看者隨時可以在這些攝像頭之間選擇位置最佳的一個進(jìn)行觀看。

MPEG組織為VR內(nèi)容的文件格式專門成立了一個獨(dú)立的OMAF工作組，其主要任務(wù)是統(tǒng)一并規(guī)定VR多方面信號表達(dá)、文件邏輯嵌套關(guān)系等內(nèi)容，例如規(guī)定了基本的視頻內(nèi)容映射格式、視角的表達(dá)方式、視角覆蓋區(qū)域表述方式、3D視頻交織存儲方式。

IPTV VR巨幕影院對內(nèi)容沒有要求，直接采用IPTV已有視頻資源即可。VR全景視頻則需要根據(jù)當(dāng)前階段的制作理念和制作技術(shù)水平，逐步探索高質(zhì)量場景類和故事類全景視頻內(nèi)容領(lǐng)域，為用戶提供最佳的VR視頻體驗(yàn)。

為了進(jìn)一步提升全景視頻的體驗(yàn)，現(xiàn)階段建議VR全景視頻內(nèi)容從8K起步，具體技術(shù)要求如下：

全景視頻內(nèi)容的規(guī)格受制于HMD的顯示能力，未來IPTV VR全景內(nèi)容將隨著HMD技術(shù)的發(fā)展和VR沉浸感知提升的需求，繼續(xù)在下面幾個方面進(jìn)行提升：

1）360度全景視頻技術(shù)規(guī)格的提升和優(yōu)化，包括以8K、12K、16K更高的分辨率支持HMD設(shè)備規(guī)格的提升，同時在單個視頻像素質(zhì)量上也會進(jìn)一步提升到10bit、12bit，支持HDR高動態(tài)、WCG寬色域和更高的幀率。

2）全景視頻內(nèi)容將從3DoF、3DoF+走向6DoF，尤其是全景視頻內(nèi)容將隨著CG渲染技術(shù)、點(diǎn)云技術(shù)、光場技術(shù)的應(yīng)用而提升。

4.5 IPTV VR機(jī)頂盒技術(shù)要求

傳統(tǒng)IPTV機(jī)頂盒以電視視頻業(yè)務(wù)為核心，對視頻進(jìn)行解碼和后處理，再經(jīng)HDMI輸出到大屏電視機(jī)進(jìn)行顯示，目前機(jī)頂盒芯片、內(nèi)存、Flash都以全4K能力為基礎(chǔ)設(shè)計(jì)。典型配置如四個2.0G Cortex-A53性能級別的處理芯片、2-4核GPU處理器、1G內(nèi)存、8G Flash、1個HDMI輸出。

IPTV VR機(jī)頂盒除了支持傳統(tǒng)電視視頻業(yè)務(wù)以外，核心是要支持HMD設(shè)備，以滿足IPTV VR的業(yè)務(wù)應(yīng)用場景，提供巨幕影院和8K VR全景視頻能力，相比PC主機(jī)和GPU的配置，當(dāng)前主流機(jī)頂盒硬件和軟件能力明顯不足。但是要大規(guī)模普及IPTV VR機(jī)頂盒又對成本非常敏感，不能采取簡單堆疊硬件性能的方式來解決，因此IPTV VR應(yīng)用對機(jī)頂盒解碼硬件設(shè)計(jì)和軟件設(shè)計(jì)提出了更高的挑戰(zhàn)。

圖18 IPTV VR機(jī)頂盒

基于解碼渲染的機(jī)頂盒芯片架構(gòu)和基于OMAF視點(diǎn)全景視頻魔方編解碼方案，只解碼用戶可見視角的VR視頻，可以在硬件成本和性能上獲得競爭優(yōu)勢。但是依然需要在GPU性能、VR視頻處理專用硬件、內(nèi)存容量速率上提升規(guī)格。

圖19 IPTV VR機(jī)頂盒的視頻處理

VR機(jī)頂盒要具備連接大屏電視和HMD的能力，兩路HDMI輸出是基本要求，同時HMD通過USB將陀螺儀等傳感器信息回傳給機(jī)頂盒，由機(jī)頂盒進(jìn)行對應(yīng)處理。硬件接口上，VR機(jī)頂盒支持兩個HDMI輸出是基本要求。

相對于傳統(tǒng)電視視頻業(yè)務(wù)，VR業(yè)務(wù)和用戶位置、方向信息相關(guān)，所以傳統(tǒng)上的遙控器操作模式不適合VR業(yè)務(wù)?，F(xiàn)在用的比較廣泛的操控外設(shè)是內(nèi)置陀螺儀的藍(lán)牙手柄，陀螺儀將運(yùn)動信息送回給VR機(jī)頂盒，VR機(jī)頂盒通過計(jì)算來確定用戶操控行為。

隨著AI技術(shù)的發(fā)展，語音識別和手勢識別的效率和準(zhǔn)確度大幅提高，正在逐步應(yīng)用到VR業(yè)務(wù)中。語音識別和手勢識無需額外設(shè)備，簡單易用，將極大的提升VR業(yè)務(wù)的用戶體驗(yàn)。未來，觸覺手套，味覺傳感器等備會使得虛擬體驗(yàn)更全面和真實(shí)。

在軟件架構(gòu)上，VR機(jī)頂盒軟件分為VR SDK層、中間件層和應(yīng)用層。

圖20 IPTV VR機(jī)頂盒系統(tǒng)架構(gòu)

芯片對其硬件能力進(jìn)行封裝，提供VR SDK，其中的主要功能包括：基于OMAF視點(diǎn)的傳輸方案控制，根據(jù)按需使用的方式獲取VR內(nèi)容，并完成解碼，映射、渲染等操作。

中間SDK層，主要功能是，獲取外部傳感器信令，或者用戶語音，手勢等操控信息，定位用戶位置或行為方向，識別用戶命令，通過VR SDK控制底層VR硬件。

應(yīng)用層，提供一個用戶可見的VR Launcher，來使用VR播放器和控制VR業(yè)務(wù)。其主要功能是，獲取VR EPG內(nèi)容，集成業(yè)務(wù)邏輯，通過Unity 3D等技術(shù)生成VR場景和VR電子菜單。

圖21 IPTV VR的EPG示例

VR機(jī)頂盒和HMD之間通過HDMI/USB線來連接，完成視頻傳輸、傳感信息回傳和供電，這帶來了使用者移動不便等問題，對用戶體驗(yàn)影響嚴(yán)重。無線傳輸方式成為未來演進(jìn)的一個重要方向。無線傳輸?shù)膬蓚€重要指標(biāo)是帶寬和時延，VR視頻的高分辨率和MTP20ms剛性約束，現(xiàn)有廣泛應(yīng)用的802.11ac WiFi協(xié)議遠(yuǎn)不能滿足要求。

正在發(fā)展有望滿足要求的無線技術(shù)有：

WiGig（802.11ad），是一種無線千兆比特網(wǎng)絡(luò)通用標(biāo)準(zhǔn)，工作于60Ghz頻段，支持近距離高達(dá)7Gbps的傳輸速率，滿足2K VR的要求。WiGig技術(shù)已被英特爾及其無線VR方案提供商DisplayLink所采用。2017年E3，英特爾展示的WiGig無線方案延遲為7ms。

WirelessHD，是較早的一種專有標(biāo)準(zhǔn)，專用于短距離傳輸高清視頻。WirelessHD 1.1版本采用了60Ghz頻段，最高傳輸速率可達(dá)28Gbps。

WirelessHD的解決方案需要一個接收器和一個發(fā)射器，其延時在5-15ms之間。TPCAST技術(shù)，是WirelessHD的一項(xiàng)應(yīng)用，已經(jīng)在HTC Vivo上實(shí)現(xiàn)，體驗(yàn)效果在2K VR水平，和有線傳輸區(qū)別不明顯，但是成本非常高。

此外，Li-Fi可見光通訊技術(shù)，可以達(dá)到50Gbps的傳輸速率，當(dāng)前還處于實(shí)驗(yàn)室階段，也是未來可能的選項(xiàng)之一。

4.6IPTV VR HMD技術(shù)要求

HMD良好的沉浸體驗(yàn)需要從人眼視覺特性著手，提供與人眼類似的視場角、良好的顯示效果（足夠的分辨率和色彩還原性能），并滿足人眼立體視覺、聚焦凝視、視覺融合等特性。目前技術(shù)可用成熟以光學(xué)屏幕技術(shù)為主，除了大視場角、高分辨率以外，解決會聚與聚焦的不匹配是提升HMD體驗(yàn)的主要難點(diǎn)，新型的甚至結(jié)合眼動跟蹤功能的多焦面顯示、視網(wǎng)膜投影、光場顯示技術(shù)正在蓬勃發(fā)展。

光學(xué)屏幕的HMD對屏幕的要求是高分辨率、高刷新率和小體積。理想的近眼顯示屏幕分辨率應(yīng)該達(dá)到16K，刷新率達(dá)到1KHz，以及1寸或以下體積。目前的屏幕技術(shù)尚待進(jìn)一步提升。當(dāng)前顯示效果較好的OLED近眼顯示屏幕，單眼分辨率在1K左右，刷新率達(dá)到90Hz，國際上主流廠商如Sony、VIVE和Oculus都在產(chǎn)品中使用OLED屏幕。隨著LCD技術(shù)的發(fā)展，可以通過Fast LCD技術(shù)提升屏幕響應(yīng)時間顯著改善的產(chǎn)品。由于FastLCD屏幕在成本、產(chǎn)能上有顯著優(yōu)勢，預(yù)計(jì)在將來的兩到三年中成為主流，廣泛的使用。將來，近眼顯示屏幕需要的分辨率會進(jìn)一步提升而尺寸進(jìn)一步減小，現(xiàn)有的LCD和OLED技術(shù)都面臨接近工藝單位尺寸分辨率的極限，能支持更小尺寸、更高分辨率的硅基OLED技術(shù)是一個值得期待的發(fā)展方向，隨著這一類產(chǎn)品技術(shù)的成熟和價(jià)格的下降，在今后三到五年年中，硅基OLED有可能成為近眼顯示的主流屏幕。

良好的光學(xué)設(shè)計(jì)對于HMD至關(guān)重要，它有助于確定可獲取的視場和整體圖像清晰度。在HMD早期，簡單的球面或者光滑非球面鏡片由于設(shè)計(jì)簡單、成本低成為了頭顯的主流選擇。有代表性的產(chǎn)品包括Oculus DK2,三星GearVR，以及Google的CardBoard等。隨著VR的普及，用戶對視場角大小和屏幕像素晶格感方面的有了進(jìn)一步的要求，菲涅爾透鏡由于具備短焦距和光學(xué)擴(kuò)散的特點(diǎn)，成為新一代HMD的主流光學(xué)方案。當(dāng)HMD的尺寸、重量進(jìn)一步下降，屏幕的分辨率進(jìn)一步提高，現(xiàn)有的菲涅爾透鏡在尺寸、成像清晰度方面遇到挑戰(zhàn)，而新型的菲涅爾結(jié)合非球面多透鏡光學(xué)方案將會出現(xiàn)。

在數(shù)據(jù)接口方面，頭顯的HDMI接口應(yīng)不低于HDMI 1.4.對于分辨率/刷新率綜合指標(biāo)高于2560x1440@70Hz的頭顯，其HDMI接口需要支持HDMI 2.0標(biāo)準(zhǔn)（或支持DP 1.3以上）。最新的HDMI2.1接口支持8K@60Hz的48Gbsp的傳輸速率，而2016年推出的DP1.4最高支持32Gbps的傳輸速率，如果使用90Hz屏幕，所能單眼分辨率極限約為4K。如果需要支持16K@1kHz的屏幕，HDMI和DisplayPort等標(biāo)準(zhǔn)仍然需要多年的演進(jìn)。在HMD的交互方面，USB3.0接口可以滿足現(xiàn)有傳感信息和inside-out攝像頭數(shù)據(jù)的基本需求。交互的形式從HMD的按鍵，3Dof手柄，6Dof頭盔/手柄組合都會得到相應(yīng)的應(yīng)用。實(shí)現(xiàn)的成本從簡單按鍵到復(fù)雜的6Dof設(shè)備逐漸上升，而交互的體驗(yàn)也是逐漸上升的。

5、IPTV VR對寬帶網(wǎng)絡(luò)的需求

5.1 VR體驗(yàn)的持續(xù)演進(jìn)成為寬帶網(wǎng)絡(luò)發(fā)展的主要動力

當(dāng)代信息通信的基礎(chǔ)是互聯(lián)網(wǎng)技術(shù)和移動通信技術(shù)，架構(gòu)其上的無所不及的互聯(lián)網(wǎng)應(yīng)用已經(jīng)深入到社會的方方面面，并正在改變著我們這個時代的面貌?；仡櫦夹g(shù)發(fā)展歷程，應(yīng)用和網(wǎng)絡(luò)相互促進(jìn)，螺旋上升，推動著技術(shù)創(chuàng)新和社會發(fā)展。虛擬現(xiàn)實(shí)技術(shù)以其沉浸性、交互性和構(gòu)想性的體驗(yàn)，推動著網(wǎng)絡(luò)向高帶寬、低延時、無線化方向演進(jìn)發(fā)展，為網(wǎng)絡(luò)的質(zhì)量保障、接入技術(shù)和網(wǎng)絡(luò)架構(gòu)的發(fā)展注入源動力。

圖22 VR體驗(yàn)提升與網(wǎng)絡(luò)演進(jìn)

VR發(fā)展首要滿足沉浸體驗(yàn)的要求，預(yù)計(jì)對網(wǎng)絡(luò)帶寬的需求達(dá)到100-500Mbps。提升沉浸感的需求促使VR分辨率和幀率越來越高，推動VR視頻帶寬需求的提高。根據(jù)計(jì)算，8K VR全景視頻的傳輸帶寬需求超過100Mbps，16K-32K VR全景視頻的傳輸帶寬需求更是高達(dá)1-4Gbps，即使采用基于視點(diǎn)自適應(yīng)的傳輸模式，帶寬需求依然高達(dá)500Mbps，需要千兆寬帶才能提供支持；而更具沉浸感知體驗(yàn)的光場、全息VR，則需要現(xiàn)有基礎(chǔ)上的100-1000倍的傳輸帶寬需求。

VR發(fā)展在沉浸體驗(yàn)達(dá)到一定程度時必然會對交互體驗(yàn)提出更高的要求，預(yù)計(jì)對網(wǎng)絡(luò)時延的需求達(dá)到10-5ms。提升VR交互體驗(yàn)的需求，則更多的對網(wǎng)絡(luò)延時帶來挑戰(zhàn)。在交互式VR場景中，顯示的內(nèi)容根據(jù)用戶的位置和行為進(jìn)行實(shí)時變化。對于實(shí)時內(nèi)容的交互式業(yè)務(wù)，如VR社交、VR實(shí)時操控，過大的緩存和傳輸延時會造成交互不流暢而影響體驗(yàn)。為保證交互的基本的流暢性，網(wǎng)絡(luò)傳輸延時不能大于20ms，而對于極致的VR交互體驗(yàn)，端到端延時應(yīng)小于20ms，網(wǎng)絡(luò)延時則需要降低到10ms以內(nèi)。對于非實(shí)時內(nèi)容的交互式業(yè)務(wù)，如6DoF場景，網(wǎng)絡(luò)時延越大，則需要預(yù)先傳輸?shù)囊朁c(diǎn)內(nèi)容越多，所需的傳輸速率越高，若1ms網(wǎng)絡(luò)延時，所需的傳輸速率是100Mbps，在20ms網(wǎng)絡(luò)延時，傳輸?shù)乃俾室髮⑦_(dá)到600Mbps。因此，網(wǎng)絡(luò)延時20ms是基本要求，隨著VR交互體驗(yàn)的提升，對網(wǎng)絡(luò)時延的要求需要提升到小于10ms甚至5ms。

在融合體驗(yàn)階段，所需傳輸?shù)臄?shù)據(jù)不僅僅是視覺信息和聽覺信息，還可能包括運(yùn)動加速度、觸覺甚至嗅覺等信息。但視覺信息仍是其中最主要的內(nèi)容。這時，視覺信息的呈現(xiàn)方式將包括全息影像、光場等方式，這些方式的每個點(diǎn)都包含整個場景的部分或者全部信息，網(wǎng)絡(luò)所需傳輸?shù)男畔⒊蓭缀渭墧?shù)增加。技術(shù)的進(jìn)步可以將所需傳輸?shù)臄?shù)據(jù)量大大壓縮，但我們?nèi)怨烙?jì)需要傳統(tǒng)方式100~1000倍的帶寬才能承載融合體驗(yàn)的VR業(yè)務(wù)。

用戶任何時候、任何地點(diǎn)觀看高沉浸感VR內(nèi)容的需求，對VR業(yè)務(wù)的便攜性和可移動性提出要求，推動著網(wǎng)絡(luò)固移融合的發(fā)展。固定寬帶因其高帶寬、低延時的特性，是IPTV VR率先邁出普及步伐的優(yōu)勢和基礎(chǔ)，而包括WiFi和移動數(shù)據(jù)網(wǎng)絡(luò)的無線接入承載會將VR的普及和體驗(yàn)推向更高的階段。

圖23 IPTV VR網(wǎng)絡(luò)架構(gòu)

VR沉浸體驗(yàn)、交互體驗(yàn)和融合體驗(yàn)所需要的需要高帶寬、低延時的承載網(wǎng)絡(luò)，推動網(wǎng)絡(luò)向計(jì)算邊緣化，結(jié)構(gòu)扁平化發(fā)展。VR內(nèi)容場景的渲染需要高計(jì)算力的支撐，尤其對于CG內(nèi)容和6DoF的場景，計(jì)算力云化和VR業(yè)務(wù)的低延時特性，對網(wǎng)絡(luò)延時提出了更高的要求，當(dāng)傳統(tǒng)的集中式業(yè)務(wù)中心和多層的網(wǎng)絡(luò)架構(gòu)難以滿足低延時要求時，就需要將業(yè)務(wù)節(jié)點(diǎn)逐步下沉到網(wǎng)絡(luò)邊緣，推動接入機(jī)房（AO）重構(gòu)，提供多接入邊緣計(jì)算（MEC）能力，并推動網(wǎng)絡(luò)架構(gòu)從傳統(tǒng)的多層匯聚架構(gòu)向扁平化網(wǎng)絡(luò)演進(jìn)。

VR業(yè)務(wù)高帶寬、低延時的需求，還推動著網(wǎng)絡(luò)智能化的發(fā)展。一方面，VR業(yè)務(wù)是網(wǎng)絡(luò)質(zhì)量敏感業(yè)務(wù)，輕微的延時抖動、丟包就會對業(yè)務(wù)體驗(yàn)產(chǎn)生影響；另一方面，網(wǎng)絡(luò)狀態(tài)瞬息萬變，只有實(shí)時地根據(jù)網(wǎng)絡(luò)狀態(tài)對VR流量進(jìn)行智能化的動態(tài)監(jiān)控和調(diào)度，才有可能對VR業(yè)務(wù)進(jìn)行高效的保障，并將其對網(wǎng)絡(luò)的沖擊減到最小。網(wǎng)絡(luò)的NFV和SDN化為網(wǎng)絡(luò)智能化奠定了基礎(chǔ)，5G引入的網(wǎng)絡(luò)切片技術(shù)為端到端QoS保障提供了新的手段。通過大數(shù)據(jù)的網(wǎng)絡(luò)狀態(tài)和業(yè)務(wù)質(zhì)量的識別，人工智能輔助的網(wǎng)絡(luò)智能調(diào)度和運(yùn)營保障，智能化的網(wǎng)絡(luò)有能力為VR的沉浸體驗(yàn)、交互體驗(yàn)和融合體驗(yàn)提供高效的保障。

5.2 10G PON接入成為IPTV VR業(yè)務(wù)的網(wǎng)絡(luò)基礎(chǔ)

10G PON技術(shù)將成為滿足IPTV VR第一階段帶寬要求的基礎(chǔ)，目前固網(wǎng)接入方式依然為GPON、EPON為主，難以滿足第一階段中8K、16K等VR全景視頻要求的百兆以上的家庭帶寬接入能力。GPON單接口的下行總帶寬按2.5G計(jì)算，收斂比按照50%計(jì)算，在1:64分光比下每用戶帶寬尚不足100Mbps，因此GPON/EPON技術(shù)難以滿足IPTV VR的大規(guī)模普及，EPON向10G EPON演進(jìn)，GPON向10G GPON演進(jìn)已成為現(xiàn)階段千兆入戶的主要技術(shù)方向。10G PON分為非對稱10GPON（XG-GPON）和對稱10G PON（XGS-GPON），非對稱10G PON提供1.5G（10G EPON）/2.5G（10G GPON）上行和10G下行，對稱10G PON提供10G上行和10G下行，收斂比按照50%計(jì)算，則在1:64分光比下每用戶帶寬可達(dá)到300Mbps，將滿足IPTV 8K到16K VR全景視頻業(yè)務(wù)的帶寬需求。

下一代PON技術(shù)，一方面是通過單波長提速，實(shí)現(xiàn)25G PON，另一方面是通過多個25G波長堆疊實(shí)現(xiàn)100G PON。ITU已開始制定下一代PON標(biāo)準(zhǔn)，IEEE 802.3已開始著手制定25G/100G PON標(biāo)準(zhǔn)，ITU和IEEE的“PON融合”已成趨勢，單波長25G正在成為標(biāo)準(zhǔn)，25G PON可以在分光比1:32/64情況下給用戶開通1Gbps以上帶寬，100G PON則可以在分光比1:32/64情況下給用戶開通4Gbps以上帶寬。

5.3 IPTV VR將促進(jìn)家庭智能組網(wǎng)及WiFi千兆覆蓋

IPTV VR業(yè)務(wù)的普及必將推動家庭網(wǎng)絡(luò)WiFi從百兆無縫覆蓋進(jìn)入千兆無縫覆蓋。相比現(xiàn)階段802.11n最大支持40MHz頻寬、最大四個空間流的MIMO、SU-MIMO和64-QAM，難以提供家庭環(huán)境下用戶體驗(yàn)速率100Mbps的無縫覆蓋。802.11ac工作在信道多干擾少的5GHz頻段，單天線（單空間流）最大物理速率可以達(dá)到433Mbps，實(shí)際數(shù)據(jù)速率可以達(dá)到100Mbps以上，通過2*2以上的MIMO保證Wi-Fi的數(shù)據(jù)速率，不低于200Mbps，802.11ac將滿足IPTV VR第一階段帶寬需求。而Wi-Fi帶寬要求500Mbps以上千兆以下時，需要使用支持4*4 MU-MIMO的802.11ac wave2標(biāo)準(zhǔn)或者升級到下一代的802.11ax標(biāo)準(zhǔn)。

預(yù)計(jì)2019年正式公布的802.11ax標(biāo)準(zhǔn)采用MU-MIMO、OFDM、1024-QAM等技術(shù)最大可實(shí)現(xiàn)10Gbps空口速率，同時具有更強(qiáng)的抗干擾能力、更強(qiáng)的并發(fā)能力、更遠(yuǎn)的傳輸距離，以保障丟包率、時延以及帶寬穩(wěn)定性等性能指標(biāo)，可以在用戶密集的環(huán)境下提供一致且穩(wěn)定的傳輸速率。

此外，IEEE 802.11目前在制訂基于60GHz的下一代Wi-Fi標(biāo)準(zhǔn)802.11ay，通過channel bonding，MU-MIMO等技術(shù)可提供20-40Gbps帶寬，可實(shí)現(xiàn)無壓縮視頻幀數(shù)據(jù)傳輸。802.11ay技術(shù)可用于VR頭顯的無線化，是利用無線傳輸技術(shù)進(jìn)行無損的視頻傳輸以解決主機(jī)VR，頭顯與主機(jī)之間的連線影響用戶體驗(yàn)的問題。

5.4 VR時代的發(fā)展呼喚5G時代的低時延高帶寬網(wǎng)絡(luò)

隨時隨地100Mbps用戶體驗(yàn)速率的覆蓋是移動網(wǎng)絡(luò)承載VR+時代的基礎(chǔ)，VR從沉浸感知體驗(yàn)走向虛實(shí)融合體驗(yàn)，對無線移動通信網(wǎng)絡(luò)承載能力提出了挑戰(zhàn)。目前LTE商用環(huán)境的單用戶理論峰值速率為100-300Mbps，然而受基站覆蓋、小區(qū)用戶數(shù)、信號強(qiáng)度、干擾等因素影響，用戶體驗(yàn)速率為3～30Mbps，尚不具備承載初期8K VR全景視頻帶寬需求的能力。

2017年12月ITU、3GPP相繼發(fā)布了5G NR新空口技術(shù)需求和標(biāo)準(zhǔn)，隨著5G新空口技術(shù)、網(wǎng)絡(luò)架構(gòu)和核心網(wǎng)絡(luò)標(biāo)準(zhǔn)的演進(jìn)和逐步商業(yè)部署，預(yù)計(jì)2020年起5G增強(qiáng)移動寬帶場景（eMBB）將推動VR沉浸感知從8K、16K VR，走向光場、全息VR，進(jìn)一步結(jié)合高可靠低時延場景（uRLLC）VR將進(jìn)入與虛擬世界交互和融合的大發(fā)展主題。

VR業(yè)務(wù)體驗(yàn)的提升和5G新技術(shù)的應(yīng)用部署將進(jìn)入相互促進(jìn)匹配階段。5G空口采用新型多址和多載波、高頻段通信、高低頻協(xié)同、超密集組網(wǎng)、大規(guī)模天線陣列等技術(shù)，可提供更高的網(wǎng)絡(luò)能力，5G網(wǎng)絡(luò)采用的邊緣計(jì)算、網(wǎng)絡(luò)切片等技術(shù)，可更好地承載VR社交、VR游戲、6DoF VR等延時敏感型VR業(yè)務(wù)。VR體驗(yàn)的每一步提升都將構(gòu)成對5G網(wǎng)絡(luò)流量密度（10Mbps/平米->100Mbps/平米）、用戶體驗(yàn)速率（100Mbps->1Gbps）、數(shù)據(jù)面時延（10ms->1ms）的重要驅(qū)動。

6、總結(jié)與行動計(jì)劃

6.1總結(jié)：VR賦能IPTV，IPTV普及VR

VR時代大幕剛剛開啟，搶占VR時代的新業(yè)務(wù)、新入口和新流量，VR+（視頻、全景、直播、游戲、社交、電商）存在無限可能。隨著經(jīng)濟(jì)的發(fā)展，已經(jīng)進(jìn)入消費(fèi)升級的階段，以VR創(chuàng)新形態(tài)推動IPTV業(yè)務(wù)，集成VR技術(shù)的最新成果，以提升用戶沉浸體驗(yàn)為目標(biāo)，服務(wù)IPTV的戰(zhàn)略又賦能IPTV的發(fā)展和演進(jìn)。IPTV的發(fā)展面臨如何進(jìn)一步提升用戶的觀影體驗(yàn)，如何進(jìn)一步促進(jìn)寬帶業(yè)務(wù)邁入千兆時代的挑戰(zhàn)，VR的沉浸體驗(yàn)和高帶寬需求恰好與IPTV的戰(zhàn)略吻合。

IPTV從推動用戶視頻體驗(yàn)提升出發(fā)，通過利用VR最新技術(shù)給用戶提供沉浸級的視頻體驗(yàn)，提升用戶的感知。進(jìn)而提供8K以上分辨率的全景視頻業(yè)務(wù)，進(jìn)一步滿足用戶對360度全景視頻的新體驗(yàn)。以規(guī)?；?、標(biāo)準(zhǔn)化為手段，降低產(chǎn)業(yè)成本，打通VR內(nèi)容分發(fā)渠道，為高質(zhì)量內(nèi)容變現(xiàn)提供可能，進(jìn)而以應(yīng)用驅(qū)動，在應(yīng)用中改進(jìn)VR沉浸體驗(yàn)技術(shù)、提高VR虛實(shí)交互技術(shù)，推動VR生態(tài)的繁榮。IPTV VR的啟航必將極大的推動VR時代的進(jìn)程，拉動VR產(chǎn)業(yè)的發(fā)展，普及VR業(yè)務(wù)在公眾/行業(yè)的應(yīng)用，推動城市智慧服務(wù)、信息消費(fèi)升級、信息化水平，在VR領(lǐng)域開創(chuàng)一條以應(yīng)用驅(qū)動，在應(yīng)用中發(fā)展技術(shù)的可持續(xù)創(chuàng)新。

6.2行動：挑起VR+時代的新扁擔(dān)

新一代信息通信產(chǎn)業(yè)發(fā)展已經(jīng)進(jìn)入“應(yīng)用驅(qū)動，在應(yīng)用中改進(jìn)技術(shù)提高技術(shù)”的創(chuàng)新模式，業(yè)務(wù)應(yīng)用的發(fā)展壯大和ICT技術(shù)的演進(jìn)創(chuàng)新就如同扁擔(dān)的兩頭。IPTV成為融合傳統(tǒng)媒體和新興媒體網(wǎng)絡(luò)傳播的重要渠道，具備應(yīng)用創(chuàng)新的巨大優(yōu)勢：上億用戶規(guī)模、平臺終端標(biāo)準(zhǔn)化規(guī)范、技術(shù)創(chuàng)新活躍、產(chǎn)業(yè)影響力強(qiáng)。2016年下半年，VR產(chǎn)業(yè)進(jìn)入低谷，與承諾的用戶預(yù)期落差較大，用戶觀望失落。值此產(chǎn)業(yè)黎明前，需要有擔(dān)當(dāng)?shù)倪\(yùn)營商的規(guī)?；芰蜆I(yè)界領(lǐng)袖企業(yè)的創(chuàng)新力聯(lián)合，從上而下構(gòu)筑聯(lián)合產(chǎn)業(yè)共識，挑起VR+時代新扁擔(dān)，鼓舞產(chǎn)業(yè)信心、解決技術(shù)難題、探索新的業(yè)務(wù)形態(tài)、推動IPTV VR從驗(yàn)證到興起到繁榮到飛躍。

中國智慧家庭產(chǎn)業(yè)聯(lián)盟已經(jīng)開始行動，與業(yè)界創(chuàng)新企業(yè)一起開展多輪VR技術(shù)圓桌論壇，與中國信通院發(fā)布虛擬（增強(qiáng)）現(xiàn)實(shí)產(chǎn)業(yè)白皮書，與工信部標(biāo)準(zhǔn)化協(xié)會VR/AR工作組進(jìn)行IPTV VR應(yīng)用場景、技術(shù)需求及實(shí)施方案研討，與IPTV機(jī)頂盒主流芯片廠商進(jìn)行芯片級VR能力要求及標(biāo)準(zhǔn)化制定。IPTV VR正沿著技術(shù)調(diào)研、測試驗(yàn)證、產(chǎn)業(yè)共識、標(biāo)準(zhǔn)化推進(jìn)、產(chǎn)業(yè)鏈引導(dǎo)、現(xiàn)網(wǎng)試點(diǎn)、規(guī)模推廣有序進(jìn)行。

2017年：充分調(diào)研現(xiàn)階段VR技術(shù)的最新成果，搭建原型產(chǎn)品和業(yè)務(wù)，進(jìn)行測試驗(yàn)證，以白皮書為抓手推進(jìn)產(chǎn)業(yè)共識。

2018年：在產(chǎn)業(yè)共識的基礎(chǔ)上推進(jìn)企業(yè)標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和國際標(biāo)準(zhǔn)的制定和完善，基于標(biāo)準(zhǔn)化推動產(chǎn)業(yè)鏈進(jìn)行產(chǎn)品化開發(fā)，在有意愿的省市開展現(xiàn)網(wǎng)試點(diǎn)、試商用，進(jìn)行技術(shù)和業(yè)務(wù)的迭代創(chuàng)新。

2019年：大力開展VR+創(chuàng)新業(yè)務(wù)，推動更多VR+業(yè)務(wù)的探索和試點(diǎn)，在應(yīng)用中改進(jìn)VR沉浸體驗(yàn)，走向VR+新時代。

7、術(shù)語表/縮略表

下一篇：美國廢止“網(wǎng)絡(luò)中立”法規(guī),遭互聯(lián)網(wǎng)界強(qiáng)烈反對上一篇：IPTV河北“三巨頭”：大視頻新生態(tài)激發(fā)“化學(xué)反應(yīng)”

責(zé)任編輯：徐明月

IPTV VR 白皮書

欧美色图亚洲|野外口爆视频国产|久久精品视频观看|97精品人人抽插

【全文】《IPTV VR技術(shù)產(chǎn)業(yè)白皮書》（2017年）

相關(guān)推薦

欧美色图 亚洲|野外口爆视频国产|久久精品视频观看|97精品人人抽插

【全文】《IPTV VR技術(shù)產(chǎn)業(yè)白皮書 》（2017年）

相關(guān)推薦

欧美色图亚洲|野外口爆视频国产|久久精品视频观看|97精品人人抽插

【全文】《IPTV VR技術(shù)產(chǎn)業(yè)白皮書》（2017年）