亞太內(nèi)容分發(fā)大會暨CDN峰會一直致力于推動CDN產(chǎn)業(yè)深度融合發(fā)展和市場普及，現(xiàn)已成為亞太地區(qū)影響力最大的內(nèi)容分發(fā)網(wǎng)絡(luò)盛會。十年來，在以阿里云、網(wǎng)宿科技、騰訊云等亞太CDN產(chǎn)業(yè)聯(lián)盟成員孜孜不輟的努力下，CDN產(chǎn)業(yè)已經(jīng)成為基礎(chǔ)性設(shè)施網(wǎng)絡(luò)，以堅定的基石之姿，支撐起中國成為世界最大的互聯(lián)網(wǎng)市場。

隨著全球數(shù)字化、“一帶一路”戰(zhàn)略的推進(jìn)，亞太內(nèi)容分大會暨CDN峰會的影響力正在逐漸向全球延伸，同時也將中國智造CDN及產(chǎn)業(yè)鏈推廣向全球每一個角落。

在6月9日舉辦的【互動直播論壇】上，ZEGO 即構(gòu)科技合伙人兼CPO顏延先生帶來了以《如何在千萬并發(fā)規(guī)模下打造毫秒級延遲直播新體驗》為題的主題演講。演講中，顏延從五個方面入手，講解了即構(gòu)科技在音視頻領(lǐng)域的技術(shù)優(yōu)化、場景完善等方面取得的經(jīng)驗和進(jìn)展。

演講開始，顏延簡短介紹了即構(gòu)科技。即構(gòu)科技成立于 2015 年，其核心團(tuán)隊專注實時音視頻領(lǐng)域已有20年之久。他表示，對于今天互動直播這一話題，可以說既熟悉又陌生。熟悉之處在于，近幾年通過服務(wù)海量的直播業(yè)務(wù)合作伙伴，將實時音視頻和直播無縫結(jié)合起來，積累了大量經(jīng)驗；而陌生之處在于，即構(gòu)科技從 0 開始打造自研直播產(chǎn)品 —— “低延遲直播”，整個過程中一開始是陌生的，經(jīng)過不斷打磨和完善，最終產(chǎn)品順利面世，并在市場上得到了強(qiáng)有力的驗證。

隨后，顏延將主題分為五大部分，將即構(gòu)科技在直播產(chǎn)品的構(gòu)建思路全面分享給大家。

目前，互動直播場景演化出更多的互動形式以及更大的互動密度。而“互動”并不僅僅是音視頻相關(guān)的溝通與玩法，還包括音視頻與各類新動作的結(jié)合，典型的包括在線教育中的互動大班課、一起看電影、電商直播、遠(yuǎn)程拍賣等多個場景。

顏延以大班直播課為例介紹道：“在上課過程中，老師經(jīng)常會出題讓學(xué)生完成練習(xí)，一開始有可能會語音解釋題干或考察點，如果延遲較高或?qū)W生收題速度不一致，上課體驗就會非常差。甚至?xí)霈F(xiàn)老師講完了，還有很多人沒有看到題干的情況。又如在搶答環(huán)節(jié)，在高延遲或沒有同步的效果下，整個在線課堂的體驗會非常糟糕，這是我們直接從實際案例中看到的反饋?！?/p>

為了解決這樣的問題，即構(gòu)科技沿著清晰的三層結(jié)構(gòu)打造低延遲直播產(chǎn)品。

第一層是架構(gòu)層，是一個極具張力的去中心化全連通架構(gòu)，即支持千萬級并發(fā)的基礎(chǔ)；而光有一個好的架構(gòu)還不夠，要解決通信過程中的一些實際問題比如物理遠(yuǎn)、網(wǎng)絡(luò)差，為了讓數(shù)據(jù)高效流動起來，需要一層軟件定義的東西來保障低延遲與強(qiáng)同步，這層也就是即構(gòu)低延遲直播的全自研私有協(xié)議和媒體網(wǎng)絡(luò)；做到了高并發(fā)、低延遲、強(qiáng)同步，在第三層提供更廣泛的平臺能力和更優(yōu)的體驗效果。

那么該如何進(jìn)一步了解低延時直播的三層結(jié)構(gòu)？顏延為在座的聽眾進(jìn)行了詳細(xì)的講解。

第一層全聯(lián)連架構(gòu)是千萬級并發(fā)的基礎(chǔ)。在此之前，先看看 CDN 直播拓?fù)浜蛡鹘y(tǒng)實時通話拓?fù)洹?/p>

CDN 直播拓?fù)淇梢哉f是一個樹狀的結(jié)構(gòu)，通過 RTMP 等標(biāo)準(zhǔn)流媒體協(xié)議，將畫面、聲音推到源站，源站再繼續(xù)向下級邊緣分發(fā)?！癈DN 直播拓?fù)涮烊恢С执笠?guī)模分發(fā)，同時它在協(xié)議、分層、緩存等技術(shù)應(yīng)用上的一些特點，使體驗存在一定問題，比如弱網(wǎng)抗性差、超高延遲、訂閱端之間弱同步等?！鳖佈咏榻B說。

傳統(tǒng)實時通話拓?fù)涫且粋€中心化的星型結(jié)構(gòu)，在傳統(tǒng)的會議場景最為常見，必須由一個或多個級聯(lián)的 MCU 做房間流的聚合，整體分發(fā)。很明顯中心化的架構(gòu)使得計算和網(wǎng)絡(luò)負(fù)載集中在 MCU 上，難以支撐大規(guī)模通信或分發(fā)。但其特點也較為明顯，不太會出現(xiàn)多個訂閱端延遲不一致的情況。“因為一定會經(jīng)過中心的聚合，所以這里它一定是低延遲和強(qiáng)同步的。因此我們考慮到，既然這兩種網(wǎng)絡(luò)都有各自的一些優(yōu)勢和應(yīng)用場景，如何整合分發(fā)網(wǎng)絡(luò)與實時網(wǎng)絡(luò)的一些特點。”顏延說。

因此，即構(gòu)科技打造了具有自己特色的中心化全連通架構(gòu)。顏延講解道，全連通是一種能力，單從一條流的視角看，其往下不斷分發(fā)的過程還是去中心化的樹狀結(jié)構(gòu)；該結(jié)構(gòu)支持靈活分層，還可以按推拉標(biāo)簽定義分層角色；此外，低延遲網(wǎng)絡(luò)與實時網(wǎng)絡(luò)（RTC）可無縫切換，毫秒間完成互動與分發(fā)角色的相互轉(zhuǎn)化。“這就是去中心化全連通的基礎(chǔ)架構(gòu)，可以說解決了大規(guī)模并發(fā)的問題?！?/p>

那么，如何優(yōu)化音視頻通信中的延遲，又如何保障訂閱端之間的同步性？ 同樣，顏延詳細(xì)闡述了即構(gòu)科技對這兩個命題的解答。

顏延介紹了第二層的軟件定義低延遲和強(qiáng)同步的做法。

在降低直播延遲之前，需要明確延遲是如何產(chǎn)生的，在音視頻數(shù)據(jù)的分發(fā)過程中，在采集、前處理、編碼、傳輸、解碼、后處理、渲染每個階段，都有可能產(chǎn)生延遲，所以需要各個擊破。在一系列的優(yōu)化處理后，即構(gòu)科技低延遲直播產(chǎn)品的端到端延遲達(dá)到 500 - 600ms。

一是數(shù)據(jù)采集過程中的延遲。數(shù)據(jù)的采集很多情況下與設(shè)備和采集的參數(shù)配置相關(guān)，例如音頻通常需要考慮采樣頻率及采樣點數(shù)。如果以44.1K Hz采樣，1024采樣點緩沖區(qū)，采集延遲就會大于23.2ms；如果以48K Hz采樣，192采樣點緩沖區(qū)，這時的延遲只有4ms。對于采集延遲而言并不是時間越短效果越好，而是需要在各項指標(biāo)之間進(jìn)行權(quán)衡，比如采樣點越少，CALLBACK的次數(shù)越多，交互增加使得CPU相應(yīng)增加，幀越短可能需要拼幀來完成編碼等一系列的操作都會導(dǎo)致成本增加。

二是音頻前處理。關(guān)于音頻前處理大概可分為音頻3A處理、變聲、視頻濾鏡和美顏、掛件，造成音頻前處理延遲的兩大因素分別是算法延遲和計算延遲。算法延遲是濾波器固有延遲，而計算延遲對音頻來說還可以接受，但在對于視頻的計算延遲存在很多挑戰(zhàn)，首先計算量需要多少CPU周期與CPU相關(guān)，其次CPU帶來的異構(gòu)計算和OpenGL都會帶來延遲。

三是編解碼。音視頻通信延遲的編碼部分主要是指信源編碼，信源編碼需要做到減少傳輸所需字節(jié)數(shù)，壓縮數(shù)據(jù)量，壓縮也要權(quán)衡音/ 畫質(zhì)、碼率、延遲和吞吐四個方面，因此選擇合適的編碼方案就顯得尤為重要。在同等碼率下編碼方案所用的延遲越高，壓縮質(zhì)量也會越高，兩者不可兼得。比如HE AAC在配置時不論CPU運行速度有多快，都會引入129ms的固有延時，而OPUS可以把延時控制在10ms內(nèi)，在同等低碼率條件下HE AAC的壓縮效果會比OPUS好，但我們會將碼率提高到一定程度使得音質(zhì)不會受損，在低延遲的情況下還是會選擇OPUS編碼方案。

四是流媒體數(shù)據(jù)傳輸。傳輸在音視頻通信中是非常復(fù)雜的過程，其中涉及到運營商、物理距離、接入方式和節(jié)點部署。光纖中光速可達(dá)到20萬km/s，從北京到深圳靠光纖傳遞信息大概需要10ms，但實際上數(shù)據(jù)每經(jīng)過網(wǎng)絡(luò)中一個節(jié)點都會引入延遲，并可能出現(xiàn)丟包現(xiàn)象。使用traceroute可以探測一個IP包送到目的地所經(jīng)過的節(jié)點，通過發(fā)送 icmp 包，并指定 ip 包里的 TTL字段的值。TTL 指的是 Time To Live，IP 協(xié)議為了防止一個 IP 在網(wǎng)絡(luò)中無限游蕩，每個 IP 包都有這么一個字段，一個 IP 每經(jīng)過一個節(jié)點，都會把這個值減1，如果這個值變成 0，就會丟掉。將TTL從小設(shè)置到大，直到足夠送達(dá)目標(biāo)地址。

但僅僅靠這兩個簡單的工具還不能夠掌握網(wǎng)絡(luò)的復(fù)雜性，這是由于有些服務(wù)器不響應(yīng) ICMP，導(dǎo)致沒有響應(yīng)，或者網(wǎng)絡(luò)中某些節(jié)點，不會去修改 TTL，導(dǎo)致看到的節(jié)點數(shù)比真實的少，但這也不妨礙traceroute對網(wǎng)絡(luò)情況和鏈路問題的判斷。網(wǎng)絡(luò)鏈路情況是非常復(fù)雜的，但是我們可以針對應(yīng)用場景和興趣給網(wǎng)絡(luò)建模，建模主要的參數(shù)有 RTT、丟包率和帶寬預(yù)測。

最后一個帶來延遲的原因是渲染。渲染主要是和系統(tǒng)接口打交道，重點是選擇合適的接口以及參數(shù)配置。對于 Android來說，使用 OpenSL ES 接口才能達(dá)到低延遲的最佳效果。還有一些手機(jī)廠商的私有接口，比如華為、OPPO、VIVO……例如耳返功能就有不少廠家提供了私有接口，可以更低延遲的實現(xiàn)耳返。上圖列舉了廠家私有 API 的耳返優(yōu)化效果，例如VIVO x9在沒有耳返優(yōu)化的狀態(tài)下延遲達(dá)到279ms，而在開啟耳返優(yōu)化后延遲降到了14ms，目前即構(gòu)低延遲直播 SDK 已經(jīng)可以支持主流手機(jī)廠商的耳返優(yōu)化。

綜上，降低延遲是一項系統(tǒng)性工程。因為任何單個節(jié)點出現(xiàn)異常，都會引發(fā)整體異常。

除了對延遲的極限壓榨之外，還要保證強(qiáng)同步?！斑@部分的工作大量需要在服務(wù)端，即構(gòu)打造了一張 MSDN 海量有序媒體網(wǎng)絡(luò)來支撐強(qiáng)同步的分發(fā)能力。我們從五個方面考量，包括負(fù)載均衡、就近接入、質(zhì)量評估、動態(tài)路由、算法。”顏延說。

此外，顏延分享了第三層平臺與體驗方面的成果，即構(gòu)科技在低延遲直播產(chǎn)品中適配了 10 余個平臺或開發(fā)框架，讓更多的開發(fā)者與企業(yè)合作伙伴能夠輕松便捷地接入到整個系統(tǒng)中。特別地，即構(gòu)科技也完美支持了 WebRTC、小程序與自研大網(wǎng)的融合，瀏覽器、小程序可以經(jīng)網(wǎng)關(guān)對協(xié)議、編碼方案的轉(zhuǎn)化后，融入低延遲網(wǎng)絡(luò)。

對體驗方面，顏延用兩個典型案例，對即構(gòu)科技如何將低延遲直播解決在線教育等場景中的典型問題進(jìn)行了介紹?！斑€是說回直播答題的過程，老師將通過低延遲網(wǎng)絡(luò)語音宣介題目，同時，會把題干的文字一同在低延遲網(wǎng)絡(luò)中分發(fā)給學(xué)生。學(xué)生則通過信令網(wǎng)絡(luò)做出答題回復(fù)，快速反饋到老師面前。而且即便在千萬級學(xué)生訂閱的規(guī)模下，都能做到同步收題。解決這個問題，得益于整張自研網(wǎng)絡(luò)低延遲、強(qiáng)同步的特性?！鳖佈诱f。

另一案例，是在互動大班課的互動板書。在 CDN 方案中，老師邊教學(xué)邊在白板上書寫，為了保持與教學(xué)音頻的同步，學(xué)生端接收白板圖元后往往要延遲幾秒才將這筆渲染畫出。但在低延遲網(wǎng)絡(luò)的下就無需久等。即構(gòu)科技的互動白板進(jìn)一步將這兩種異構(gòu)傳輸?shù)臄?shù)據(jù)在接收端上做收斂，最終實現(xiàn)讓老師的嘴型和書寫的內(nèi)容強(qiáng)同步呈現(xiàn)出來。

“以上兩個 case 是我們大量業(yè)務(wù)合作伙伴普遍存在的典型需求，通過低延遲直播產(chǎn)品以及一系列的配套服務(wù)得以很好滿足，我們貼著實際場景去解決技術(shù)問題，讓業(yè)務(wù)方真正專注業(yè)務(wù)。” 顏延說。