在2021 GFIC 5G全球家庭互聯(lián)網(wǎng)大會的5G+4K/8K超高清論壇上，上海云視科技股份有限公司產(chǎn)品部副總經(jīng)理?徐小麗發(fā)表題為《面向超高清的視頻修復(fù)與增強》的精彩演講。

 

 

視頻修復(fù)與增強的背景

?

發(fā)展趨勢——超高清

 

8K由于其差異化、高端化成為視頻顯示領(lǐng)域產(chǎn)業(yè)升級的下一個重要戰(zhàn)略方向點。8K分辨率的像素總量是4K的4倍。8K使畫面細(xì)節(jié)纖毫畢現(xiàn)，呈現(xiàn)更多的顏色層次，帶來極致的畫質(zhì)體驗。

 

8K技術(shù)的普及是未來幾年顯示視頻技術(shù)的發(fā)展的目標(biāo)。隨著網(wǎng)絡(luò)寬帶傳輸技術(shù)、圖像處理技術(shù)和硬件制造技術(shù)的共同迅猛發(fā)展和提升，視頻媒體內(nèi)容的生產(chǎn)和呈現(xiàn)方式發(fā)生新的變革。采、編、播、傳輸、顯示各環(huán)節(jié)的技術(shù)，基本具備8K條件。

 

2021年2月1日，中央廣播電視總臺8K超高清電視頻道試驗開播、央視春晚8K電視直播，將加速8K超高清的落地普及。

 

海量珍貴歷史視頻亟需修復(fù)增強

 

現(xiàn)存大量的現(xiàn)有的低分辨率的珍貴視頻，例如：中央新聞紀(jì)錄電影制片廠保存60萬分鐘極其珍貴的歷史影像資料，包括歷代黨和國家領(lǐng)導(dǎo)人的影像資料、涉及黨和國家重大決策事件的影像資料、各歷史時期重大事件的真實記錄......

 

中央廣播電視總臺音像資料館保存200萬小時標(biāo)/高清電視節(jié)目和素材，包括87版紅樓夢、86版西游記等央視版經(jīng)典四大名著，抗戰(zhàn)、長征各類題材經(jīng)典電視劇，新聞、晚會、賽事、直播、專題片、紀(jì)錄片等......

 

此類影像資料或多或少存在畫質(zhì)問題，在超高清設(shè)備上顯示時，畫面問題會被放大，嚴(yán)重的影響觀看體驗，因此，有必要對它們進(jìn)行修復(fù)與增強，讓它們以更好的效果呈現(xiàn)。人工智能技術(shù)是很好的選擇。

 

運用人工智能技術(shù)，支撐珍貴歷史資料的修復(fù)與增強

 

《開國大典》于1989年拍攝，獻(xiàn)禮建國40周年。2019年進(jìn)行4K修復(fù)，獻(xiàn)禮建國70周年：1082個鏡頭，24萬幀畫面，6%資料片，修復(fù)團(tuán)隊超過600人，每天修復(fù)20小時，耗時4個月。人工智能算法的應(yīng)用，可以更高效的對老舊影片進(jìn)行批量修復(fù)增強。

 

超高清標(biāo)準(zhǔn)

 

超高清的標(biāo)準(zhǔn)涉及多個方面，首先是分辨率，至少需達(dá)到4K，盡量達(dá)到8K，其他的指標(biāo)幀率、色深、色域、動態(tài)范圍、音頻都有比較高的要求。理想情況下，老舊影片修復(fù)增強后是需要達(dá)到超高清標(biāo)準(zhǔn)的，但是老舊影片中包含的信息太少了，因此修復(fù)增強的工作存在很大的挑戰(zhàn)。

 

修復(fù)增強技術(shù)

 

難點與挑戰(zhàn)

 

老舊影片由于拍攝年代久遠(yuǎn)、設(shè)備落后、播放保存損傷等原因，導(dǎo)致畫面主觀視覺質(zhì)量差：畫面模糊不清晰，顏色暗淡，大量噪聲；運動拖尾不流暢，對比度層次感差；噪點、斑塊、劃痕、污跡等畫面損傷。

 

人工智能修復(fù)增強技術(shù)

 

智能修復(fù)，讓畫面變干凈：建立目標(biāo)檢測網(wǎng)絡(luò)，采用深度神經(jīng)網(wǎng)絡(luò)對斑塊進(jìn)行檢測和定位；基于運動補償原理，采用時域去除法，將當(dāng)前斑塊所在幀的前后幀對應(yīng)位置圖像作為參考，補充當(dāng)前斑塊遮擋的區(qū)域；利用空域修復(fù)法，將無法檢測到的細(xì)小瑕疵，用空間補差的方式進(jìn)行消除，并保證時域圖像的連續(xù)性。

 

超分辨率，讓圖像更清晰，通過深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行特征自動學(xué)習(xí)、非線性映射和上變換重建，把低分辨圖像放大成高分辨率，提升畫面清晰度和細(xì)節(jié)信息。

 

視頻插幀，讓動態(tài)更流暢：基于光流的運動估計補償插幀技術(shù)，結(jié)合對角線補償、清晰度增強，實現(xiàn)2倍或4倍的幀率放大，并消除消除運動抖動/拖尾、。

 

畫質(zhì)增強，讓畫面更好看：從銳度/清晰度、飽和度/對比度、降噪、灰度級變換（8bit→10bit）、亮度動態(tài)范圍（SDR→HDR）、色域提升（8bit BT.709→10/12bit BT.2020）等方面提升畫面整體質(zhì)量。

 

徐小麗最后總結(jié)到，修復(fù)增強技術(shù)的應(yīng)用，讓歷史影像有機(jī)會以更好的質(zhì)量呈現(xiàn)。過程涉及的人工智能算法，可以快速提升8K超高清視頻節(jié)目的產(chǎn)能，加快8K普及的步伐。為用戶呈現(xiàn)更高分辨率、更有吸引力的視頻內(nèi)容，豐富用戶的視聽體驗。

面向真實世界應(yīng)用，仍存在一些挑戰(zhàn)。修復(fù)增強后的老舊影片即使視頻參數(shù)符合超高清標(biāo)準(zhǔn)，但是相對于真實拍攝的4K/8K影片，畫面質(zhì)量存在明顯的差距。