2021年是IPTV安播年，運(yùn)維保障是電視媒體的重中之重，為了了解自動(dòng)化運(yùn)維在互動(dòng)電視領(lǐng)域的應(yīng)用，眾視Tech采訪到了百度智能云解決方案架構(gòu)師王曉曦先生，與大家分享百度智能云在大視頻領(lǐng)域技術(shù)與業(yè)務(wù)上的思考、研究與實(shí)踐。

百度智能云解決方案架構(gòu)師?王曉曦

從業(yè)務(wù)角度看，隨著5G技術(shù)的不斷成熟，大視頻領(lǐng)域的業(yè)務(wù)不斷顛覆著的傳統(tǒng)電視的模式。從2016年IPTV業(yè)務(wù)發(fā)展進(jìn)入的快車道，用戶增長(zhǎng)快速、各類互動(dòng)和業(yè)務(wù)模式、IPTV業(yè)務(wù)經(jīng)歷了從單一視聽(tīng)業(yè)務(wù)到融媒體業(yè)務(wù)的變化，從運(yùn)營(yíng)思維、用戶場(chǎng)景、大視頻領(lǐng)域的市場(chǎng)等各方面的創(chuàng)新。

業(yè)務(wù)上的創(chuàng)新及高速發(fā)展，運(yùn)維保障工作的變革主要體現(xiàn)在哪些方面？

王曉曦介紹，"業(yè)務(wù)的全面融合，平臺(tái)的業(yè)務(wù)保障工作迎來(lái)了新的挑戰(zhàn)。從技術(shù)架構(gòu)上大視頻領(lǐng)域的應(yīng)用系統(tǒng)從單體服務(wù)到微服務(wù)，業(yè)務(wù)數(shù)據(jù)從G到了T，逐步呈現(xiàn)出"微服務(wù)+大數(shù)據(jù)"的模式，這是推動(dòng)運(yùn)維向智能化轉(zhuǎn)型的起點(diǎn)。

大視頻領(lǐng)域的業(yè)務(wù)需求有起獨(dú)特性，做好業(yè)務(wù)保障需要的不僅僅是技術(shù)平臺(tái)，而是一個(gè)保障體系，需要從意識(shí)到團(tuán)隊(duì)再到技術(shù)路線全面改革。百度結(jié)合大視頻領(lǐng)域的業(yè)務(wù)情況，從"技術(shù)架構(gòu)、團(tuán)隊(duì)協(xié)作、數(shù)據(jù)可視化"三方面構(gòu)建保障體系，王曉曦說(shuō)這三點(diǎn)是大視頻業(yè)務(wù)保障的"地基"，支撐業(yè)務(wù)的發(fā)展。

01?架構(gòu)變"現(xiàn)"，微服務(wù)架構(gòu)，提升服務(wù)價(jià)值，降低運(yùn)維工作量

微服務(wù)是一種用于構(gòu)建應(yīng)用的架構(gòu)方案，是技術(shù)的變革，為什么說(shuō)是經(jīng)驗(yàn)變現(xiàn)呢？

微服務(wù)不僅是一個(gè)技術(shù)框架，它本身還是一個(gè)平臺(tái)框架，需要能拆分成微服務(wù)，也需要能合體為應(yīng)用系統(tǒng)，這是經(jīng)驗(yàn)積累的變現(xiàn)，而不簡(jiǎn)單是技術(shù)變革。

服務(wù)的拆分依據(jù)：是對(duì)業(yè)務(wù)體系的解構(gòu)

百度智能云在大屏視頻領(lǐng)域多年，與行業(yè)同行，2018年開(kāi)始，百度對(duì)成熟的系統(tǒng)平臺(tái)進(jìn)行微服務(wù)架構(gòu)的改造，"微服務(wù)架構(gòu)有別于更為傳統(tǒng)的單體式方案，可將應(yīng)用拆分成多個(gè)核心功能。每個(gè)功能都被稱為一項(xiàng)服務(wù)，可以單獨(dú)構(gòu)建和部署，這意味著各項(xiàng)服務(wù)在工作時(shí)不會(huì)相互影響。服務(wù)不是傳統(tǒng)模塊化簡(jiǎn)單的變體，需要根據(jù)實(shí)際業(yè)務(wù)情況分層分顆粒度。

微服務(wù)業(yè)務(wù)解構(gòu)（基礎(chǔ)數(shù)據(jù)、公共能力、業(yè)務(wù)應(yīng)用 拼圖單體）

技術(shù)平臺(tái)的構(gòu)建：是以業(yè)務(wù)為導(dǎo)向的整合

百度智能云重構(gòu)整個(gè)業(yè)務(wù)運(yùn)營(yíng)平臺(tái)，是為適應(yīng)業(yè)務(wù)的快速迭代與整合，包括它的網(wǎng)關(guān)和一些對(duì)后端的訪問(wèn)、應(yīng)對(duì)大壓力的熔斷限流等等技術(shù)，應(yīng)對(duì)用戶規(guī)模帶來(lái)的前瞻性問(wèn)題，這是我們當(dāng)初去重構(gòu)整個(gè)平臺(tái)去做微服務(wù)化的目的。

大視頻領(lǐng)域從業(yè)務(wù)線，基礎(chǔ)層可以分為播控體系、用戶體系、數(shù)據(jù)體系、安全體系，增值業(yè)務(wù)層按照不同的業(yè)務(wù)應(yīng)用獨(dú)立，如：大小屏互動(dòng)、在線教育、醫(yī)院?jiǎn)栐\等融合業(yè)務(wù)。

業(yè)務(wù)系統(tǒng)的聚合（業(yè)務(wù)閉環(huán)的小圈組合的大圈）

02?技術(shù)變"現(xiàn)"，引入Devops理念，開(kāi)發(fā)運(yùn)維持續(xù)交付，提升迭代效率

微服務(wù)是Devops的基礎(chǔ)，傳統(tǒng)的單體應(yīng)用由于每一個(gè)環(huán)節(jié)都由不同的團(tuán)隊(duì)去完成的，這一形式造成了信息的孤島，即傳遞到某一環(huán)節(jié)，再往下傳時(shí)那個(gè)信息可能就會(huì)出現(xiàn)丟失的情況。Netflix提出"誰(shuí)構(gòu)建，誰(shuí)運(yùn)維"這一理念旨在鼓勵(lì)系統(tǒng)開(kāi)發(fā)團(tuán)隊(duì)同時(shí)負(fù)責(zé)系統(tǒng)的運(yùn)維與支持工作。

因此Netflix的這一理念打破了鏈條式開(kāi)發(fā)的狀態(tài)，避免了其帶來(lái)的各類問(wèn)題，使運(yùn)維、研發(fā)成為了一體，從而真正將 DevOps 引入實(shí)踐。百度經(jīng)過(guò)近2年時(shí)間，構(gòu)建一套適應(yīng)這個(gè)閉環(huán)的工具鏈平臺(tái)，現(xiàn)在可以說(shuō)完全融入Devops這樣的研發(fā)模式。

DevOps工具鏈

質(zhì)量是設(shè)計(jì)出來(lái)，同樣業(yè)務(wù)保障體系是需要貫穿到軟件的開(kāi)發(fā)每個(gè)環(huán)節(jié)的。百度智能云將完整可運(yùn)行的應(yīng)用做為交付標(biāo)準(zhǔn)，從研發(fā)到實(shí)施，使QA貫穿了全流程，王曉曦介紹道："對(duì)于運(yùn)維團(tuán)隊(duì)來(lái)說(shuō)，軟件的開(kāi)發(fā)具有周期性，比如從需求到設(shè)計(jì)，到開(kāi)發(fā)、測(cè)試，最終到運(yùn)維是一條線，呈現(xiàn)鏈條式的狀態(tài)，運(yùn)維成為了軟件設(shè)計(jì)的重要組成部分，并且對(duì)于軟件設(shè)計(jì)來(lái)說(shuō)是隱形但必選的需求。"

那么，運(yùn)維應(yīng)該如何做好轉(zhuǎn)型？王曉曦的答案是技術(shù)產(chǎn)品和技術(shù)運(yùn)營(yíng)，運(yùn)維人員轉(zhuǎn)型到自動(dòng)化運(yùn)維的研究，技能重組，復(fù)合型技能實(shí)現(xiàn)自動(dòng)化，共同降低運(yùn)維的門(mén)檻。

03?數(shù)據(jù)變"現(xiàn)"，數(shù)據(jù)驅(qū)動(dòng)，構(gòu)建運(yùn)維可視化平臺(tái)，降低運(yùn)維門(mén)檻

技術(shù)產(chǎn)品和技術(shù)運(yùn)營(yíng)是大視頻領(lǐng)域數(shù)字化運(yùn)維轉(zhuǎn)型過(guò)程中的關(guān)鍵點(diǎn)，大數(shù)據(jù)已經(jīng)全面應(yīng)用在大視頻領(lǐng)域業(yè)務(wù)上，結(jié)合大數(shù)據(jù)的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)及應(yīng)用本身的日志數(shù)據(jù)，百度基于已有的運(yùn)維數(shù)據(jù)（日志、監(jiān)控信息、應(yīng)用信息等），以業(yè)務(wù)為導(dǎo)向，探索智能運(yùn)維的實(shí)踐之路，實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)。

運(yùn)維可視化主要從以下三方面進(jìn)行呈現(xiàn)：一是監(jiān)控?cái)?shù)據(jù)；二是異常告警，根據(jù)對(duì)數(shù)據(jù)的告警規(guī)則，能夠及時(shí)的發(fā)現(xiàn)服務(wù)器或應(yīng)用的問(wèn)題，并告知運(yùn)營(yíng)人員后解決問(wèn)題；三是自動(dòng)降級(jí)。

可視化的維度

王曉曦說(shuō)，面對(duì)單體應(yīng)用的運(yùn)維時(shí)，這么多年"滅火隊(duì)式的運(yùn)維，對(duì)我們來(lái)說(shuō)是常態(tài)，但是當(dāng)這種模式滿足業(yè)務(wù)需求時(shí)，我們需要從內(nèi)部打破這種常態(tài)。構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的可視化運(yùn)維平臺(tái)，是將運(yùn)維系統(tǒng)化的落地。"

百度智能云提出以業(yè)務(wù)為中心的可視化智能運(yùn)維，了解運(yùn)維可視化，其核心是將所運(yùn)維的服務(wù)、資源、設(shè)備的狀態(tài)和正在發(fā)生的事件通過(guò)可視化的形式呈現(xiàn)出來(lái)，并指導(dǎo)運(yùn)維人員或者產(chǎn)品研發(fā)人員做出正確的運(yùn)維決策。

這一點(diǎn)涉及到了及時(shí)性和準(zhǔn)確率的平衡問(wèn)題，算法和經(jīng)驗(yàn)/規(guī)則的有效性問(wèn)題，實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)的可信性問(wèn)題以及當(dāng)掌握全面的信息時(shí)，如何聚焦到有用的信息的問(wèn)題。

如何平衡及時(shí)性和準(zhǔn)確率？

由于準(zhǔn)確性關(guān)注的是數(shù)據(jù)記錄中存在的錯(cuò)誤或異常等問(wèn)題，而平衡性是數(shù)據(jù)的同步和處理過(guò)程的效率相關(guān)，作為聯(lián)動(dòng)關(guān)系，平衡好兩者關(guān)系尤為重要。

而對(duì)于算法和經(jīng)驗(yàn)/規(guī)則，王曉曦表示："數(shù)據(jù)收集時(shí)，我們針對(duì)解決問(wèn)題的點(diǎn)，從數(shù)據(jù)本身去做一定的分類。在正常錯(cuò)誤中，其最簡(jiǎn)單的分法就是不用管數(shù)據(jù)錯(cuò)誤。至于報(bào)的是什么錯(cuò)，回頭再分析這個(gè)報(bào)錯(cuò)是否應(yīng)該獨(dú)立的看，并關(guān)注報(bào)錯(cuò)的點(diǎn)追溯起因。因此，數(shù)據(jù)在歸類的過(guò)程中，除了根據(jù)匯總的重點(diǎn)做規(guī)則，還要從算法和經(jīng)驗(yàn)做規(guī)則。

如何將實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)結(jié)合？

王曉曦講解道："收集的數(shù)據(jù)中問(wèn)題分兩種，其中一種問(wèn)題是及時(shí)性問(wèn)題，即當(dāng)前一旦觸發(fā)一個(gè)點(diǎn)就會(huì)導(dǎo)致的問(wèn)題。另一個(gè)是在一個(gè)月正常運(yùn)營(yíng)之后突然報(bào)的問(wèn)題，但這一個(gè)問(wèn)題不是今天才產(chǎn)生的，而是經(jīng)過(guò)長(zhǎng)時(shí)間問(wèn)題的積累后產(chǎn)生的問(wèn)題。在這一情況下，我們需要進(jìn)行分場(chǎng)景或分問(wèn)題的歸因。"

百度智能云在可視化智能運(yùn)維上的進(jìn)行深入研究后，得到了更加完整的"產(chǎn)品運(yùn)營(yíng)"為核心的運(yùn)維體系，某種程度上，可視化程度越高，運(yùn)維就越簡(jiǎn)單，運(yùn)維效率也就越高。其價(jià)值在于是技術(shù)產(chǎn)品和技術(shù)運(yùn)營(yíng)成為新融合、新跳板，最終實(shí)現(xiàn)大視頻領(lǐng)域數(shù)字化轉(zhuǎn)型。

04?AIOps價(jià)值流，人工智能賦能業(yè)務(wù)保障體系

對(duì)于已經(jīng)擁有超3億用戶規(guī)模的IPTV而言，用戶流量、流量變現(xiàn)至關(guān)重要。IPTV一直在探索從流量到留量的轉(zhuǎn)型路徑，在行業(yè)各領(lǐng)域前進(jìn)。而百度智能云一直以來(lái)鉆研IPTV領(lǐng)先技術(shù)，迎來(lái)微服務(wù)時(shí)代后，通過(guò)構(gòu)建"產(chǎn)品運(yùn)營(yíng)"為核心的運(yùn)維體系，奠定了業(yè)務(wù)發(fā)展的基石。

王曉曦介紹："傳統(tǒng)的單體應(yīng)用業(yè)務(wù)耦合度過(guò)高，很難實(shí)現(xiàn)從研發(fā)階段到實(shí)施部署，完成一個(gè)閉環(huán)，但是中間環(huán)節(jié)是有一系列的工具來(lái)完成，而不是讓人完成。因此需要找出更加完善的運(yùn)維思路才能解決問(wèn)題?，F(xiàn)在在運(yùn)維方面，正在探索從人工運(yùn)維到自動(dòng)化運(yùn)維的轉(zhuǎn)變。

大視頻行業(yè)的數(shù)字化轉(zhuǎn)型，使產(chǎn)品運(yùn)營(yíng)成為新跳板。