●升級后的NDI 5相較于之前的NDI技術(shù)，您認(rèn)為影響最深遠(yuǎn)的是哪個方面？

對于NDI 5，首先，我認(rèn)為最有深遠(yuǎn)影響的改進(jìn)之一就是對RUDP的支持?；蛘哒f，從NDI 5開始，NDI的傳輸方式發(fā)生了翻天覆地的變化。我們知道，在NDI 5之前，NDI默認(rèn)采用的是multi-TCP的傳輸方式，也是官方最推薦的傳輸方式（雖然它也支持UDP和Multicast傳輸，但是這并不是官方推薦的，我們已知它們存在很多問題）。TCP的傳輸方式雖然可靠，但是它對網(wǎng)絡(luò)帶寬的利用效率是比較低的；這在無線網(wǎng)絡(luò)、Internet等傳輸穩(wěn)定性較差的環(huán)境下，TCP傳輸?shù)男适欠浅５偷摹@會帶來很多的問題，最典型的是傳輸?shù)膶崟r性會受到影響。

NDI 5引入了新的RUDP傳輸機(jī)制--QUIC。RUDP在傳輸穩(wěn)定性較差的網(wǎng)絡(luò)環(huán)境下，表現(xiàn)要優(yōu)于TCP——它基于UDP，所以它具備UDP的簡單、低延時等特點，又因為它采用了與TCP相似的擁塞控制/數(shù)據(jù)重傳機(jī)制，它又具備TCP一樣的傳輸可靠性。因此，這是一次具有革命性的改進(jìn)。從直觀的感受上，我們會發(fā)現(xiàn)，采用RUDP傳輸?shù)腘DI SDK在傳輸上更穩(wěn)定、實時性更強(qiáng)了。

●升級后的NDI 5首次支持Apple系統(tǒng)，您認(rèn)為這在NDI未來的應(yīng)用上有何意義？

NDI 5真正做到了全平臺（Windows, Linux, MacOS, Android ...）的統(tǒng)一和運行在不同架構(gòu)的CPU上（雖然到目前為止，它還存在這樣那樣的一些小問題，但這不影響NDI統(tǒng)一全平臺的“野心”）。這意味著，NDI既可以運行在x86架構(gòu)的Windows/Linux/MacOS平臺上，也可以運行在ARM架構(gòu)的基于M1的Mac Mini/Mac Book上，以及iOS和Android之上，以及各種基于ARM的嵌入式系統(tǒng)之上……總之，NDI全平臺統(tǒng)一了。這是非常令人興奮的，NDI既可以運行在高端的服務(wù)器上，也可以運行在普通的嵌入式設(shè)備上。我們可以預(yù)期到無數(shù)多種可能，未來在市場上將會出現(xiàn)各種各樣形態(tài)的NDI產(chǎn)品和設(shè)備。

●那除了引入新的傳輸機(jī)制和支持接入Apple系統(tǒng)，您認(rèn)為NDI 5還有哪些其他優(yōu)勢？

NDI 5正在向我們傳遞一個非常重要的信號：NDI 5正在面向互聯(lián)網(wǎng)、面向遠(yuǎn)程視頻傳輸和制作。我們知道NDI 5提供了Bridge工具、Remote工具，同時也改進(jìn)了傳輸協(xié)議、做了一系列的傳輸優(yōu)化、還有就是持續(xù)在改進(jìn)NDI|HX。這一切都在告訴我們，未來，NDI將不再只是適合于局域網(wǎng)內(nèi)的視頻傳輸，它正在積極在面向互聯(lián)網(wǎng)傳輸、面向遠(yuǎn)程制作、面向Web。

這里還有一個大家沒太留心的問題已經(jīng)得到了改進(jìn)，那就是安全性問題。在第一點我們提到，NDI5的傳輸方式改成了QUIC，而QUIC是天生具有較高等級的加密能力的。這一點非常重要，特別是面向互聯(lián)網(wǎng)的應(yīng)用。當(dāng)然，必須很坦率地說，NDI在安全性方面還需要有一些加強(qiáng)，就算是NDI5，這也還是一個問題。

NDI 5在音頻的部分做了很多的改進(jìn)，通過NDI? Audio Direct，可以將NDI源兼容到幾乎所有的音頻軟件、應(yīng)用程序，并且還允許客戶自定義選擇、接收和生成接近零延遲的多通道音頻，讓您擺脫麻煩的硬件混音器。然而很坦率地說，Kiloview在音頻部分的研究不是很深入，所以我們還不能說出太多的所以然來。但是NDI完全可以實現(xiàn)一個完整的基于IP的音頻體系——誰說不能呢？我也很期待和大家進(jìn)行交流。

●另外，NewTek除了發(fā)布NDI 5之外，還推出了NDI|HX3，你可以給我們介紹一下嗎？

是的，NDI 5新發(fā)布了NDI|HX3標(biāo)準(zhǔn)。這是一個具有長遠(yuǎn)意義的事情。我們知道NDI High-bandwidth具有很好的實時性，然而畫面質(zhì)量以及帶寬消耗卻一定程度上不那么理想；而NDI HX/HX2采用H.264/H.265的編碼，可以很好地解決帶寬問題，然而延時和色彩質(zhì)量又受到了制約。

現(xiàn)在，NDI|HX 3似乎在影音傳輸質(zhì)量與帶寬之間找到了一種平衡。NDI|HX3 仍然采用H.264/H.265編碼，但是它建議H.264/H.265編碼的GOP為1或2——也就是說，它建議最好是每一幀都是H.264/H.265的關(guān)鍵幀，或者最多隔一幀就產(chǎn)生一個關(guān)鍵幀。這樣一來，它就和NDI High-bandwidth相似，它可以很好地對抗網(wǎng)絡(luò)丟包帶來的影響。通俗地說，網(wǎng)絡(luò)丟包？沒關(guān)系，我放棄丟失的這一幀，下一幀我還能馬上恢復(fù)圖像！

這樣看來，NDI|HX3與NDI High-bandwidth的圖像壓縮機(jī)制非樣相似。但是，H.264/H.265的幀內(nèi)編碼的效率會比NDI High-bandwidth高許多——因為H.264/H.265的幀內(nèi)編碼包括幀內(nèi)預(yù)測、子（宏）塊運算處理等能力，這是NDI High-bandwidth壓縮算法所不具備的，它帶來的直接好處就是（和NDI High-bandwidth相比）在同等圖像質(zhì)量下，壓縮率更高、碼率更低；反之，在同等碼率條件下，圖像質(zhì)量比NDI High-bandwidth高不少。

采用H.264/H.265編碼算法，在圖像質(zhì)量上還一個優(yōu)勢是它的去塊效應(yīng)濾波能力。這是H.264/H.265標(biāo)準(zhǔn)的組成部分。在碼率較低、或者畫面運動劇烈的場景下，視頻畫面容易“起馬賽克”，這是我們很多人都有過的直觀感受。NDI High-bandwidth算法為了達(dá)到它的“簡單快速“的目的，缺少去塊效應(yīng)濾波環(huán)節(jié)，因此，在像4K這樣的高分辨率條件下，我們很容易觀察到NDI High-bandwidth的馬賽克現(xiàn)象；然而使用NDI|HX3，這種情況會得到有效的避免，進(jìn)一步提升了視頻的主觀質(zhì)量。

●除了NDI優(yōu)勢之外，那您認(rèn)為NDI 5還有哪些需要改進(jìn)的地方呢？

如果要說NDI5一些不盡如意的地方，我想主要有以下幾點：

一、NDI High-bandwidth的畫面質(zhì)量，尤其是在4K分辨率下，還是略微差了一點。這似乎是一個很大的挑戰(zhàn)，甚至說未來要從NDI|HX3上去找答案。

二、安全性。我們知道NDI是即插即用的，在視頻的連接、獲取過程中是完全沒有鑒權(quán)機(jī)制的。如果在一個專有的局域網(wǎng)內(nèi)，這或許不是太大的問題。然而隨著它越來越開放、要面向互聯(lián)網(wǎng)的應(yīng)用場景，這個問題需要得到很好的解決才行。

三、使用軟件進(jìn)行NDI編碼的性能，相對于解碼來說，它還是差了很多。這當(dāng)然有它自身的技術(shù)實現(xiàn)的原因，但這制約了我們不少的實際應(yīng)用。這特別表現(xiàn)在ARM處理上，在很多的嵌入式ARM處理器上，它實現(xiàn)了NDI的軟件編碼，仍然還是很吃力的。在實際的（大的）生產(chǎn)環(huán)境中，因為這會涉及到很多的環(huán)節(jié)，所以，我們不能簡單地理解：NDI5能幫助我們搞定一切嗎？——不，這不太現(xiàn)實。這需要一個生態(tài)，需要一系列的產(chǎn)品來加以支撐。這些產(chǎn)品可能來自于NewTek，也可能需要來自于許多的第三方產(chǎn)商，甚至有的產(chǎn)品到目前為止還沒有面世呢，由它們來共同來支撐整個制作過程。

●您剛剛也介紹了，NDI 5現(xiàn)在支持面向遠(yuǎn)程、互聯(lián)網(wǎng)，那它是如何實現(xiàn)的呢？

NDI 5提供NDI Bridge和NDI Remote等工具，并且改進(jìn)了傳輸協(xié)議，NDI Bridge能夠幫助用戶通過簡單的網(wǎng)絡(luò)設(shè)置，實現(xiàn)在世界上任何地方的NDI信號源互通。這將意味著，制作團(tuán)隊能最大程度地節(jié)省視頻傳輸?shù)臅r間成本和設(shè)備成本，獲取最新鮮的的原生態(tài)視頻畫面，搭建真正的“遠(yuǎn)程工作間”。

NDI Remote能夠幫助用戶通過共享鏈接與所有的遠(yuǎn)程用戶進(jìn)行實時互動，并可通過互聯(lián)網(wǎng)隨時接收世界上任何地方的音視頻源到制作端的所有硬件設(shè)備或軟件程序。這一切都在告訴我們，未來，NDI將不再只是局限于局域網(wǎng)內(nèi)的視頻傳輸，它正在積極在面向互聯(lián)網(wǎng)傳輸、面向遠(yuǎn)程制作、面向Web。

●同樣是面向遠(yuǎn)程、互聯(lián)網(wǎng)，在SRT和NDI 5兩者之間，我們應(yīng)該如何權(quán)衡選擇呢？

如果僅僅從技術(shù)的角度上去看待NDI和SRT，那么它們各有千秋、都是一些非常棒的技術(shù)。它們也都擁有非常廣泛的支持者、具有很大的影響力。在面向互聯(lián)網(wǎng)應(yīng)用這一個角度上，SRT甚至具有一些鮮明的優(yōu)勢，比如說極低的延時、更好的安全性、更靈活的握手/連接方式、很好的可靠性、多路徑(multi-path)傳輸……等等。

當(dāng)然我想各位一定會從一個更高的層面上去看待問題——用戶在使用NDI或者SRT，肯定會根據(jù)各自的工作模式及使用習(xí)慣，去思考哪個技術(shù)生態(tài)更完整？產(chǎn)品更豐富？體系更成熟？支持這項技術(shù)的廠商更多、推動力更強(qiáng)？作為使用者，在這其中哪個能讓我們更加受益？從這一角度來分析，我想大家就會有答案了。

●NDI|HX 3相對于以前的NDI技術(shù)來說，在畫面質(zhì)量和帶寬之間達(dá)到一種趨于完美的平衡，那壓縮的畫面質(zhì)量與哪些因素有關(guān)呢？

NDI在1080p或更小一些的分辨率下，畫面質(zhì)量是比較不錯的。不過，請大家一定要理解，NDI是有損壓縮的。在約束的bitrate條件下（典型的1080p在130Mbps左右，4K在250Mbps左右），畫面質(zhì)量會受到諸如畫面內(nèi)容的復(fù)雜程度、運動的劇烈程度、噪點、內(nèi)容變化的程度等很多條件的影響，打個比方，就像你用Photoshop這樣的軟件處理一張圖片，如果你約束一張圖片的大小必須是1M Bytes，那么圖片細(xì)節(jié)越豐富、越復(fù)雜的照片，保存的圖片可能就會越模糊、細(xì)節(jié)丟失越多；反之，圖片背景簡單、色彩變化不大的照片就會越清晰。NDI的壓縮是相同的原理?！?在大多數(shù)的情況下，NDI視頻的質(zhì)量都是不錯的；但在面向一些細(xì)節(jié)特別復(fù)雜、運動十分劇烈的場景下，NDI圖像質(zhì)量也會有一些不足，這是一個事實。

●對于大多數(shù)用戶來說，都十分關(guān)心視頻傳輸?shù)难舆t性，那NDI 5在延遲、圖像質(zhì)量等方面的真實測試結(jié)果是什么，可以給我們介紹一下嗎？

延時在開啟Low latency模式的時候，大約在80ms左右、在視頻源為60fps幀率的條件下實測結(jié)果。這取決于視頻源的幀率，如果幀率越低，延時可能會更大一些。

理論上說，NDI的延時還可以更低一些，但這受到NDI同步機(jī)制的影響，所以80ms是一個比較真實的結(jié)果。市面上有一些廠商會宣傳說，他們的延時可以低到2~3 幀，那只是一些假設(shè)或特定條件下的特定結(jié)果，并不具有代表性。

●你認(rèn)為NDI?5未來的發(fā)展趨勢會怎樣，您能跟我們分享一下嗎?

一、面向互聯(lián)網(wǎng)和遠(yuǎn)程制作，這一定會是未來的趨勢。在這條路上，NDI還需要解決一些實質(zhì)性的問題，比如說連接握手的機(jī)制、安全性、身份驗證、防火墻/NAT穿透，等等。

二、在面向互聯(lián)網(wǎng)的遠(yuǎn)程制作的這條道路上，NDI|HX (包括HX2和HX3）將會顯得格外重要，因為只有采用H.264/H.265壓縮，才有可能讓碼率降下來、適應(yīng)互聯(lián)網(wǎng)環(huán)境下的帶寬條件。

三、NDI還需要更開放、吸引更多的廠商和用戶加入這個生態(tài)；NDI所面向的行業(yè)，也應(yīng)該從廣播電視、中小型工作室等領(lǐng)域拓展到其它更多的領(lǐng)域，比如說數(shù)字標(biāo)牌、KVM、醫(yī)療、智能家居……等等。這是完全有可能的，但NDI的官方也需要更加開放。

四、NDI極有可能成為一種面向云端視頻業(yè)務(wù)的基礎(chǔ)的Video&Audio I/O標(biāo)準(zhǔn)。我們知道，在面向桌面的視頻制作系統(tǒng)中，視頻采集卡、視頻輸出卡，這是基帶視頻信號進(jìn)入制作系統(tǒng)的必須的基礎(chǔ)I/O設(shè)施；那么，在云端，一切變成虛擬化，視頻的I/O沒有別的選擇、它只能基于網(wǎng)絡(luò)。因此，NDI完全可以成為基于云端網(wǎng)絡(luò)的視頻I/O的標(biāo)準(zhǔn)規(guī)范——這一方面，千視Kiloview已經(jīng)進(jìn)行了很多的嘗試，它表現(xiàn)得非常棒。

人物介紹：

左振宇

高級工程師

畢業(yè)于國防科技大學(xué)計算機(jī)專業(yè)

NewTek官方合作商千視電子的研發(fā)總監(jiān)兼創(chuàng)始人，深耕音視頻編碼、網(wǎng)絡(luò)傳輸、媒體處理、圖像識別和人工智能等技術(shù)領(lǐng)域20余年。關(guān)注行業(yè)技術(shù)發(fā)展，研究NDI技術(shù)多年，將理論結(jié)合實際，帶領(lǐng)團(tuán)隊推陳出新，研發(fā)的多款音視頻IP化傳輸設(shè)備暢銷全球100多個國家和地區(qū)。

NDI作為現(xiàn)在應(yīng)用最火熱的視頻IP技術(shù)，已經(jīng)升級到了第五代，升級后的NDI 5成為面向遠(yuǎn)程、互聯(lián)網(wǎng)及后期制作的新一代音視頻IP技術(shù)，那和SRT相比，兩者在使用上應(yīng)該如何選擇呢？而升級后的NDI 5優(yōu)勢和痛點分別體現(xiàn)在什么地方？NDI 5未來的發(fā)展趨勢優(yōu)勢又會如何？針對這些問題，我們邀請了千視電子總經(jīng)理左振宇先生與我們一起交流探討。