欧美色图 亚洲|野外口爆视频国产|久久精品视频观看|97精品人人抽插

百度云劉寧:云智時(shí)代的CDN平臺(tái)

2017-04-14 16:18:53 熱度:
2017年4月12-13日,2017亞太CDN峰會(huì)在北京隆重召開,在13日上午的視頻云論壇上,百度系統(tǒng)副總監(jiān)劉寧作了題為《云智時(shí)代的CDN平臺(tái)》主題報(bào)告。
 

百度系統(tǒng)副總監(jiān)劉寧
 
用戶需求趨向?qū)DN提出新的需求
 
用戶需求趨向的改變帶給了整個(gè)CDN行業(yè)發(fā)展的動(dòng)力,體現(xiàn)在通信社交、消費(fèi)需求、個(gè)性化以及kill time等已經(jīng)變成了用戶的需求,同時(shí)還包括泛信息、泛娛樂。這些用戶需求的典型特點(diǎn)是富媒體化,對(duì)于視頻點(diǎn)播、視頻直播包括短視頻行業(yè)對(duì)這些方面有了更多的需求,也給CDN行業(yè)提出了很多的要求。
 
越來越多的用戶無論是內(nèi)部用戶還是外部用戶,在用戶體驗(yàn)方面都提出了非常高的要求,不光是可用性、質(zhì)量還有更低的成本、技術(shù)上更快更好的研發(fā)和對(duì)接,用戶還對(duì)云廠商人工智能、大數(shù)據(jù)的能力提出了相應(yīng)的要求。
 
ABC+CDN:云+智+數(shù)+CDN合力為企業(yè)發(fā)展賦能
 
百度云的CDN平臺(tái)實(shí)際上在推出產(chǎn)品之前也在百度內(nèi)部打磨了七年多的時(shí)間,百度云內(nèi)部從各個(gè)層面上有非常多的經(jīng)驗(yàn)和技術(shù)積累,比如說網(wǎng)絡(luò)層,在多級(jí)CDN的覆蓋、多線的源站、BGP的源站及非常多的小運(yùn)營商peer等等;在軟件層面比如流量的調(diào)度、GSLB、4 7層負(fù)載均衡以及熱點(diǎn)的負(fù)載均衡、緩存系統(tǒng)的優(yōu)化、AI、黃反識(shí)別、視頻標(biāo)簽等都有非常豐富的經(jīng)驗(yàn)。通過監(jiān)控平臺(tái)可以實(shí)時(shí)發(fā)現(xiàn)百度云上出現(xiàn)了什么問題,及時(shí)做調(diào)度。百度云的配置管理方便用戶快速做配置變更,在基礎(chǔ)服務(wù)層面包括文件上傳、內(nèi)容刷新、推流、轉(zhuǎn)碼以及數(shù)據(jù)的分析;同時(shí)在解決方案上,百度云給用戶提供了相對(duì)比較全面的解決方案,比如存儲(chǔ)的分發(fā)、大文件的分發(fā)、小文件分發(fā)、視頻的解決方案等等。
 
百度的CDN平臺(tái)以及百度云通過借助百度的AI和BIG DATA可以給用戶提供更高的價(jià)值。
     
精細(xì)打磨CDN產(chǎn)品能力,提供高品質(zhì)CDN服務(wù)
 
高品質(zhì)的CDN平臺(tái)通常要滿足三點(diǎn)要素:首先是可用性,再者要求更高的性能,并且要求更好的用戶體驗(yàn)。百度的CDN平臺(tái)在內(nèi)部一直承載著搜索業(yè)務(wù)、圖片業(yè)務(wù)以及網(wǎng)盤類型的業(yè)務(wù),即能滿足搜索類型業(yè)務(wù)極其嚴(yán)格的可以性和質(zhì)量要求,也能滿足網(wǎng)盤對(duì)存儲(chǔ)容量和承載能力的嚴(yán)格要求。
 
在穩(wěn)定性方面,百度在做CDN節(jié)點(diǎn)選擇的時(shí)候會(huì)做非常嚴(yán)格的節(jié)點(diǎn)準(zhǔn)入。實(shí)際上在運(yùn)營商不同層級(jí)的節(jié)點(diǎn)上CDN質(zhì)量差別非常大,而且即便是一個(gè)層級(jí)上的節(jié)點(diǎn),還是有很大差別。百度還建立了全國質(zhì)量感知網(wǎng)絡(luò),通過建設(shè)全國監(jiān)控網(wǎng),通過不同的維度監(jiān)控業(yè)務(wù)問題,比如服務(wù)端、客戶端、第三方監(jiān)測等等。每天通過千億級(jí)PV在服務(wù)器后端發(fā)現(xiàn)問題,也可以通過百度做業(yè)務(wù)打點(diǎn)進(jìn)行錯(cuò)誤檢測。通過這樣的方式可以比較實(shí)時(shí)發(fā)現(xiàn)問題在哪兒然后做及時(shí)的調(diào)度切換。
 
CDN是一個(gè)重度依賴硬盤和SSD的服務(wù),對(duì)硬盤健康性的把握直接影響CDN的服務(wù)質(zhì)量和可用性。一個(gè)CDN節(jié)點(diǎn),當(dāng)服務(wù)器越少的時(shí)候,一塊硬盤出現(xiàn)質(zhì)量問題如果沒有及時(shí)發(fā)現(xiàn),所導(dǎo)致影響就越大,很可能造成一個(gè)節(jié)點(diǎn)百分之零點(diǎn)幾的可用性影響,這對(duì)一個(gè)超過4個(gè)9可用性的cdn平臺(tái)是不可接受的。百度云劉寧總監(jiān)介紹道:百度采用監(jiān)控故障扇區(qū)、磁頭馬達(dá)等硬件錯(cuò)誤、設(shè)備報(bào)錯(cuò)、設(shè)備文件不可訪問、進(jìn)程D狀態(tài)、盤符缺失、SmartFail等數(shù)據(jù),運(yùn)用GBDT(Gradient Boosting Decision Tree)、SVM等算法 + 神經(jīng)網(wǎng)絡(luò)構(gòu)建故障預(yù)測模型,不僅可以做到故障不漏發(fā)現(xiàn),還可提前48小時(shí)預(yù)測故障,準(zhǔn)確率>90%,一旦預(yù)測到磁盤故障將要發(fā)生,會(huì)提前遷移盤上的熱點(diǎn)數(shù)據(jù),同時(shí)提前剔除故障磁盤,并自動(dòng)報(bào)修。
 
在性能方面,一方面從網(wǎng)絡(luò)以及節(jié)點(diǎn)的布局設(shè)計(jì)上考慮,在運(yùn)營商骨干節(jié)點(diǎn)上建立了大量的超級(jí)節(jié)點(diǎn),單個(gè)節(jié)點(diǎn)存儲(chǔ)超級(jí)結(jié)點(diǎn)可以達(dá)到3個(gè)P的存儲(chǔ),有助于緩存持久化。同時(shí)單個(gè)節(jié)點(diǎn)帶寬達(dá)到160G或者更高的級(jí)別的時(shí)候就可以應(yīng)對(duì)云時(shí)代業(yè)務(wù)中很多突發(fā)、攻擊,應(yīng)對(duì)較為復(fù)雜的情況。這樣的結(jié)構(gòu)超級(jí)節(jié)點(diǎn)加上更廣泛覆蓋的邊緣節(jié)點(diǎn),可以提升命中率。另外還在自研的負(fù)載均衡、DNS、自研交換機(jī)上做了大量的優(yōu)化工作,百度在負(fù)載均衡上基于DBDK開發(fā)了40G單機(jī)能力的負(fù)載均衡,它可以幫助百度很容易設(shè)計(jì)建設(shè)一些超級(jí)節(jié)點(diǎn)。
 
在速度優(yōu)化方面,百度云做了非常多調(diào)優(yōu)。一方面是通過節(jié)點(diǎn)的覆蓋,通過精準(zhǔn)的CDN角度302調(diào)度,同時(shí)在算法上做了大量工作。尤其在協(xié)議棧的優(yōu)化上,在去年一年就線上迭代了近100個(gè)版本,使得協(xié)議棧的擁塞算法的性能大幅超過標(biāo)準(zhǔn)cubic以及google BBR在internet上的表現(xiàn)。
 
百度云的獨(dú)特優(yōu)勢在于以下幾點(diǎn):1、質(zhì)量感知:百度用戶基數(shù)大、使用密集、質(zhì)量數(shù)據(jù)實(shí)時(shí)、細(xì)膩,基于訪問質(zhì)量的自動(dòng)實(shí)時(shí)調(diào)度。2、大數(shù)據(jù):服務(wù)器故障大數(shù)據(jù),硬盤故障預(yù)測并自動(dòng)踢出,杜絕帶病運(yùn)行。3、骨干節(jié)點(diǎn):運(yùn)營商骨干節(jié)點(diǎn)數(shù)100+,邊緣節(jié)點(diǎn)200+,三級(jí)節(jié)點(diǎn)緩存,4、BGP接入:BGP接入超過30家運(yùn)營商。5、節(jié)點(diǎn)測試:嚴(yán)格的節(jié)點(diǎn)準(zhǔn)入測試。
 
百度云在做各方面技術(shù)的打磨、產(chǎn)品的打磨的時(shí)候,更多是希望給用戶提供更好的產(chǎn)品和解決方案以及更好的性能。
 
百度云的解決方案
 
1、安全解決方案
 
演講中,劉寧跟大家分享了幾個(gè)百度的解決方案。整個(gè)中國的互聯(lián)網(wǎng)劫持非常嚴(yán)重,通常業(yè)務(wù)可以達(dá)到1%以上的劫持率,所以搜索業(yè)務(wù)前幾年就開始做全站的切換,百度在很早就開始做全站的HTTPS的切換。在這個(gè)過程中,一方面SRE團(tuán)隊(duì)做了SSL接入層面優(yōu)化,另一方面百度也開發(fā)了SSL offload異步集群,通過硬件加速的集群降低性能開銷,最終達(dá)到了理想的效果。百度能夠提供證書托管服務(wù)業(yè)、Keyless的https服務(wù),同時(shí)也提供客戶httpDNS服務(wù)解決在DNS請求方面的劫持。
  
2、存儲(chǔ)分發(fā)方案
  
百度在提供CDN分發(fā)的同時(shí)也提供了很完整的存儲(chǔ)分發(fā)解決方案。百度的存儲(chǔ)分發(fā)解決方案是基于網(wǎng)盤近些年產(chǎn)品的積累和技術(shù)的打磨,百度網(wǎng)盤實(shí)際上是為解決過億用戶千PB的存儲(chǔ)問題。百度云的存儲(chǔ)方案給用戶提供數(shù)據(jù)的上傳、備份、存儲(chǔ)和處理的工作,用戶可以簡單的開啟其數(shù)據(jù)分發(fā)同時(shí)進(jìn)行智能數(shù)據(jù)分級(jí),大規(guī)模降低用戶存儲(chǔ)的成本。
  
3、P2P加速解決方案
  
P2P加速解決方案能夠節(jié)約30%帶寬費(fèi)用,降低企業(yè)成本。體驗(yàn):用戶體驗(yàn)好,卡頓比小于5%,首畫面時(shí)間小于1s;SDK:支持多平臺(tái)的SDK,資源占用少,豐富的控制接口;分享率:全天分享率大于35%,熱門文件的分享率達(dá)到80%以上;成本:降低30%以上。
  
4、視頻解決方案
 
百度的視頻云解決方案既提供基礎(chǔ)視頻云服務(wù),也提供基于百度深度學(xué)習(xí)算法、百度大腦AI的能力,同時(shí)提供百度大數(shù)據(jù)支撐也幫助客戶建設(shè)視頻索引系統(tǒng)、視頻搜索系統(tǒng)。百度的視頻基礎(chǔ)云是基于百度自研的視頻點(diǎn)播VOD及視頻直播系統(tǒng)研發(fā)的,百度在視頻點(diǎn)播、直播上做了大量優(yōu)化工作,從推流、拖流到源站,整個(gè)鏈路上沒有采用開源的方案,而是采取百度自己的私有協(xié)議做了大量的優(yōu)化工作。百度視頻直播云在1-3毫秒延時(shí)的情況下可以提供3%以內(nèi)的卡頓率。百度的視頻點(diǎn)播云一方面為客戶提供視頻播放、視頻分發(fā)網(wǎng)絡(luò)、轉(zhuǎn)碼以及存儲(chǔ),另一方面直播平臺(tái)也給用戶提供單向的LSS直播以及雙向的互動(dòng)直播,還可以做直播錄制。
 
百度的視頻基礎(chǔ)云背靠百度AI和大數(shù)據(jù),致力于給用戶提供精準(zhǔn)的內(nèi)容理解。百度在內(nèi)容審核方面可以給用戶提供非常高準(zhǔn)召率的色恐的審核,包括人物的審核,政治敏感度人物的審核,版權(quán)審核、播控審核、智能縮略圖、字幕的生成等等。,利用視頻AI提供的視頻結(jié)構(gòu)化標(biāo)簽,結(jié)合百度視頻大數(shù)據(jù)的能力可以幫助用戶快速構(gòu)建起視頻推薦系統(tǒng)以及視頻內(nèi)容的索引系統(tǒng)。如果用戶沒有很好的用戶畫像,百度大數(shù)據(jù)也會(huì)為其提供用戶畫像的冷啟動(dòng),從而快速構(gòu)建他的視頻推薦系統(tǒng),建設(shè)用戶視頻模型及視頻特征模型。
 
關(guān)于在內(nèi)容生產(chǎn)方面百度可以幫用戶做什么,劉寧答道一方面是用戶的生產(chǎn)輔助,比如長精彩片段的提取、字幕的輔助生成,百度視頻結(jié)構(gòu)化標(biāo)簽的準(zhǔn)召率非常高,通常的結(jié)構(gòu)化標(biāo)注范圍比較少、標(biāo)簽的維度也比較少,但是用百度的AI則可以做到非常豐富的標(biāo)簽。
 
在視頻流量方面,百度竭力幫助用戶解決兩個(gè)關(guān)鍵的問題:一個(gè)人找視頻的場景,另一個(gè)是視頻找人的場景。人找視頻場景通常是廣電側(cè)的場景,可以結(jié)合視頻的輸出和百度搜索幫助用戶快速構(gòu)建起站內(nèi)搜索能力;視頻的推薦主要側(cè)重于UGC的場景,在視頻內(nèi)容模型和用戶行為上幫助用戶快速構(gòu)建起站內(nèi)更為精準(zhǔn)的推薦。
 
用戶還可以結(jié)合百度的百家號(hào)和百度視頻提供更好的內(nèi)容的曝光。在營銷方面可以幫助UP主以及內(nèi)容生產(chǎn)方快速建立起來粉絲和輿情管理、用戶畫像。比如一個(gè)UP主肯定非常想關(guān)注到他所有的粉絲是什么樣的年齡群體、年齡段,什么樣的職業(yè)背景、什么樣的家庭背景,更喜歡什么方面的內(nèi)容,這樣才有助于指導(dǎo)UP主生產(chǎn)內(nèi)容。在視頻流量變現(xiàn)方面,一方面百度云可以幫助用戶快速搭建廣告平臺(tái),另一方面也可以通過視頻DSP、聯(lián)盟視頻廣告快速幫助用戶實(shí)現(xiàn)變現(xiàn)。
 
最后劉寧建議大家更多關(guān)注ai.baidu.com、cloud.baidu.com,網(wǎng)站發(fā)布有很多關(guān)于智能視頻和百度云CDN產(chǎn)品動(dòng)態(tài)的信息。

責(zé)任編輯:王剛

相關(guān)推薦

CDN讓網(wǎng)絡(luò)訪問體驗(yàn)日趨完美

近日,艾肯家電網(wǎng)簽約國內(nèi)知名的CDN網(wǎng)站加速服務(wù)提供商北京快網(wǎng),北京快網(wǎng)將為艾肯家電網(wǎng)提供提全站CDN加速服務(wù)。記者了解到,目前國內(nèi)比較大的門戶網(wǎng)站為現(xiàn)實(shí)網(wǎng)站的高速訪問,早已使用了CDN網(wǎng)絡(luò)加速。目前,包括騰訊、新浪、搜狐、網(wǎng)易、酷六、紅袖添香等眾多網(wǎng)站都采用了北京快網(wǎng)的CDN網(wǎng)絡(luò)加速服務(wù)這一服務(wù)。據(jù)《中國互聯(lián)網(wǎng)年度綜合報(bào)告2009-2011》數(shù)據(jù)顯示,預(yù)計(jì)至2011年互聯(lián)網(wǎng)市場規(guī)模將達(dá)到1300億,互聯(lián)網(wǎng)總用戶數(shù)將達(dá)到6億。網(wǎng)民數(shù)量的持續(xù)提升同時(shí)也讓互聯(lián)網(wǎng)服務(wù)發(fā)展如火如荼,視頻、SNS、垂直網(wǎng)站等新興網(wǎng)站層出不窮,在帶來全新商機(jī)的同時(shí),也讓互聯(lián)網(wǎng)帶寬、服務(wù)器等資源捉襟見肘。而CDN服務(wù)提供商

傳雅虎董事會(huì)成員肯尼有意競選CEO

9月29日消息,據(jù)國外媒體報(bào)道,雅虎董事會(huì)成員、國際上最大的CDN服務(wù)商Akamai總裁大衛(wèi)·肯尼(DavidKenny)公開表示有意競選雅虎CEO。國際上最大的CDN服務(wù)商Akamai總裁大衛(wèi)·肯尼知情人士透露,肯尼目前還在管理Akamai的業(yè)務(wù),但確定要公開競選雅虎CEO。該人認(rèn)為,肯尼對(duì)雅虎內(nèi)部發(fā)生的一切非常清楚,知道自己在干什么。昨天,肯尼曾與雅虎產(chǎn)品團(tuán)隊(duì)工作人員進(jìn)行數(shù)小時(shí)長談。近日,他還曾與包括私募公司在內(nèi)的雅虎投資方、股東交換了意見。某科技媒體認(rèn)為,肯尼適宜擔(dān)

優(yōu)酷數(shù)據(jù)中心:要“優(yōu)”不要“酷”

提起優(yōu)酷,喜歡看網(wǎng)上視頻的人大概沒有不知道的。創(chuàng)辦于2006年的優(yōu)酷,因著“快者為王”的產(chǎn)品理念,以“快速播放,快速發(fā)布,快速搜索”的特性,滿足了互聯(lián)網(wǎng)用戶日益增長的多元化互動(dòng)需求,從而成為國內(nèi)視頻網(wǎng)站中的領(lǐng)軍企業(yè)。支持優(yōu)酷實(shí)現(xiàn)快速、優(yōu)質(zhì)用戶體驗(yàn)的,是優(yōu)酷背后強(qiáng)大的數(shù)據(jù)中心和IT技術(shù)能力。據(jù)優(yōu)酷CTO姚鍵介紹,優(yōu)酷每年的數(shù)據(jù)增長率大概都在50%。為了應(yīng)對(duì)不斷增長的巨大流量帶來挑戰(zhàn),2010年,優(yōu)酷對(duì)位于北京的主數(shù)據(jù)中心進(jìn)行了改造。簡化的二層網(wǎng)絡(luò)姚鍵表示,由于優(yōu)酷提供的視頻業(yè)務(wù)對(duì)網(wǎng)絡(luò)設(shè)備提出了時(shí)延小、可大規(guī)模擴(kuò)展的要求,因此對(duì)網(wǎng)絡(luò)交換設(shè)備的選型十分重要??紤]到主數(shù)據(jù)中心的戰(zhàn)略地位,網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)需

烽火通信開拓電信CDN運(yùn)營新藍(lán)海

電信CDN飛速發(fā)展 隨著三網(wǎng)融合的進(jìn)一步深化,作為三網(wǎng)融合試點(diǎn)中較為明晰的業(yè)務(wù)種類,IPTV業(yè)務(wù)得到了極大的發(fā)展。最新數(shù)據(jù)顯...