亞太內(nèi)容分發(fā)大會暨CDN峰會一直致力于推動CDN產(chǎn)業(yè)深度融合發(fā)展和市場普及，現(xiàn)已成為亞太地區(qū)影響力最大的內(nèi)容分發(fā)網(wǎng)絡盛會。十年來，在以騰訊云、阿里云、網(wǎng)宿科技等亞太CDN產(chǎn)業(yè)聯(lián)盟成員孜孜不輟的努力下，CDN產(chǎn)業(yè)已經(jīng)成為基礎性設施網(wǎng)絡，以堅定的基石之姿，支撐起中國成為世界最大的互聯(lián)網(wǎng)市場。

隨著全球數(shù)字化、“一帶一路”戰(zhàn)略的推進，亞太內(nèi)容分大會暨CDN峰會的影響力正在逐漸向全球延伸，同時也將中國智造CDN及產(chǎn)業(yè)鏈推廣向全球每一個角落。

近年來，騰訊云深耕對象存儲領(lǐng)域，以技術(shù)創(chuàng)新屢次將存儲領(lǐng)域推上更高臺階，榮膺亞太內(nèi)容分發(fā)大會對象存儲領(lǐng)導力獎。在6月10日下午舉辦的【對象存儲論壇】上，騰訊云存儲技術(shù)總監(jiān) 王淼發(fā)表了題為《對象存儲內(nèi)容分發(fā)應用：數(shù)據(jù)處理實踐》的精彩演講。

近年來，數(shù)據(jù)每年以超過30%-40%的速度爆發(fā)式增長，對于企業(yè)而言如何低成本高效的利用好數(shù)據(jù)就成為了挑戰(zhàn)。數(shù)據(jù)湖作為一個以原始數(shù)據(jù)格式為存儲的系統(tǒng)，為數(shù)據(jù)分析、數(shù)據(jù)處理、機器學習等提供了極大的便利，而云的擴展性、高性能、支持地域的廣泛性、以及云上所提供的豐富的數(shù)據(jù)處理和分析能力，都使其成為數(shù)據(jù)湖理想的載體。

從對象存儲數(shù)據(jù)治理生態(tài)全景圖中可以看到，除了對象存儲標準接口之外，還可以通過消息隊列、結(jié)構(gòu)化存儲系統(tǒng)、視頻流等多種數(shù)據(jù)源，將數(shù)據(jù)快速方便地入湖，湖上也提供了豐富的數(shù)據(jù)處理和分析能力，消除數(shù)據(jù)孤島，實現(xiàn)計算存儲分離，由于部署及架構(gòu)等原因，在業(yè)務實踐中也遇到了不少挑戰(zhàn)：主要體現(xiàn)在IO性能，目錄操作以及存算分離需要的大帶寬上，針對這些問題，騰訊云對象存儲作為數(shù)據(jù)湖的底座，提供了多級數(shù)據(jù)加速服務，以滿足不同場景的需要。

隨后，王淼介紹了騰訊云提供的多級加速服務：GooseFS作為近計算節(jié)點的高速緩存，不僅為計算節(jié)點提供數(shù)據(jù)加速，還能將計算節(jié)點產(chǎn)生的數(shù)據(jù)寫入緩存，以供二次計算或加速CDN的分發(fā)；數(shù)據(jù)加速器是部署在各個AZ的高速緩存集群，在AZ端為熱數(shù)據(jù)提供加速服務和抗熱點數(shù)據(jù)能力，高速緩存集群采用SSD作為數(shù)據(jù)盤，與計算集群之間通過高帶寬網(wǎng)絡連接，為數(shù)據(jù)應用訪問COS對象存儲提供Tb級別帶寬資源和毫秒級的時延；元數(shù)據(jù)加速器主要應對文件系統(tǒng)級元數(shù)據(jù)操作，解決對象存儲模擬文件系統(tǒng)的損耗，加速包括list，head的操作以及提供原子性rename接口和一些目錄操作相關(guān)接口。

對象存儲和CDN結(jié)合服務客戶的過程中，也會遇到數(shù)據(jù)處理、內(nèi)容安全和容災架構(gòu)等方面的挑戰(zhàn)，如何更高效可靠地為用戶提供服務，王淼分享了騰訊云的經(jīng)驗。

數(shù)據(jù)處理-能力建設

數(shù)據(jù)處理的底層是各種原子能力，包括圖像處理、視頻處理、音頻處理、內(nèi)容審核、文檔處理相等。除了對原子能力做持續(xù)的迭代和優(yōu)化，騰訊云也關(guān)注業(yè)界前沿技術(shù)，保持對前沿技術(shù)的敏感性，在合適的時機盡快地應用到云上，服務客戶企業(yè)。

數(shù)據(jù)處理-流程建設

流程化的演進：之前的工作流系統(tǒng)，主要流轉(zhuǎn)于對象存儲和數(shù)據(jù)處理服務的內(nèi)部，能解決的問題有限，在實際業(yè)務的一些場景中，用戶可能需要使用到多個云產(chǎn)品，那么就需要在多個產(chǎn)品間進行繁瑣的配置，寫很多的接口調(diào)用代碼，既復雜又容易出錯；騰訊云COS通過預置云函數(shù)，利用簡單的配置，打通多個云產(chǎn)品，實現(xiàn)業(yè)務邏輯快速實現(xiàn)。

以視頻上傳為例，一個視頻上傳之后可以通過數(shù)據(jù)處理服務，配置精彩封面、圖片瘦身等流程化的操作，可以對視頻進行高清、標清轉(zhuǎn)碼，同時對視頻進行審核，出現(xiàn)違規(guī)視頻可以進一步進行凍結(jié)。

在工作流演進的過程中，對象存儲通過對接函數(shù)服務，能為客戶提供更多可能：比如圖片瘦身后，可以通過預熱云函數(shù)直接將圖片預熱到CDN節(jié)點；審核服務如果發(fā)現(xiàn)違規(guī)文件，可以通過刷新云函數(shù)把CDN節(jié)點上的違規(guī)數(shù)據(jù)清理掉，防止對業(yè)務造成損害。函數(shù)服務也提供自定義函數(shù)的能力，可以對接業(yè)務系統(tǒng)，對接其他云服務平臺，真正讓用戶少操作，少寫代碼，少“踩坑”。

智能化演進：智能分層

在對接客戶的時候經(jīng)常遇到一種場景：客戶希望根據(jù)文件的最后訪問時間來判斷是否沉降，而對象存儲提供的數(shù)據(jù)沉降、生命周期服務都是以數(shù)據(jù)上傳時間為判斷標準，無法滿足這種場景的需求?；谶@一點COS研發(fā)了智能分層服務，可以根據(jù)用戶文件的訪問頻次、大小、格式，為數(shù)據(jù)提供冷熱分離自動化機制，降低用戶的使用成本。同時，還提供毫秒級的首字節(jié)響應能力，在不斷變化的訪問模式下，首字節(jié)響應性能不降低，也不產(chǎn)生費用和其他運營開銷。經(jīng)測算，智能分層服務可以為業(yè)務節(jié)省20%左右的成本。

智能化演進：平臺自適應

平臺自適應服務：cos 與 cdn 深度的結(jié)合，可以針對不同平臺的特性，分發(fā)給適合當前平臺最優(yōu)的數(shù)據(jù)格式，如支持webp圖片的平臺，服務端可智能返回webp格式圖片，如微信小程序平臺，可智能返回騰訊云自研的tpg格式圖片，讓業(yè)務能智能的享受到帶寬的節(jié)省和加載速度的提升。

場景化能力

除了提供原子的處理能力、流程化的任務系統(tǒng)，騰訊云對象存儲最近還推出了兩個面向垂直場景的服務：針對視頻監(jiān)控場景的明瞳智控和針對網(wǎng)盤相冊場景的智能媒資托管服務，后續(xù)對象存儲還會面向數(shù)據(jù)湖推出更多貼合業(yè)務場景的輕應用能力。

內(nèi)容安全能力

在內(nèi)容安全方面主要面臨的挑戰(zhàn)有以下幾個方面：一是面臨場景比較復雜，包括圖片、音視頻、欺詐類的網(wǎng)站、表情包惡搞、病毒程序。二是方式繁多，如隱晦的淫穢涉黃場景，變種文字廣告，拆字、干擾符號的謾罵。三是技術(shù)對抗增多，如變種繞過策略的手段，AI變臉的對抗。四是產(chǎn)品聯(lián)動少，用戶使用的復雜度高。

內(nèi)容安全能力建設方面，除了傳統(tǒng)的文本、視頻、圖像、音頻的內(nèi)容審核，騰訊云還在逐步豐富其他場景，比如敏感信息識別，可以識別到文本中是否存在身份證號、用戶電話號碼等隱私信息；對于一些二進制文件，可以識別是否是病毒或惡意軟件。

自動化審核

針對不同的用戶、不同的場景，騰訊云不僅可以提供場景化的運營策略，同時也會提供一些自動化的審核流程。

對象存儲上的審核，主要分為存量審核和增量審核，對存量數(shù)據(jù)審核，COS提供一鍵審核服務，只需控制臺配置后，后臺就會自動進行審核，審核完成后可以通過控制臺下載審核結(jié)果；增量審核服務，支持對新上傳到對象存儲的文件進行自動的異步審核服務，同時還支持對違規(guī)文件進行人工復審、自動凍結(jié)。

一般會推薦客戶采取高召回的審核策略，確保違規(guī)的文件不會泄露到外網(wǎng)，因高召回產(chǎn)生的誤判文件，會通過專業(yè)團隊進行人工復審，把誤判進行糾正，最大程度保證違規(guī)文件不泄露，同時又不誤封業(yè)務文件、影響業(yè)務發(fā)展，已經(jīng)發(fā)現(xiàn)的違規(guī)文件，有可能在CDN環(huán)節(jié)被緩存過，COS也支持一鍵配置，對違規(guī)的文件刷新CDN節(jié)點。

高可用方案——多AZ

基于騰訊新一代超大規(guī)模云存儲引擎YottaStore，COS可提供完整的多AZ容災能力。在多AZ架構(gòu)中，每個AZ都部署了存儲集群、高速緩存集群和數(shù)據(jù)處理集群，當遇到不可抗力災害時，統(tǒng)一調(diào)度模塊就會根據(jù)下游的異常，自動剔除不能服務的節(jié)點、AZ，通過其他的AZ能夠提供穩(wěn)定可靠的服務。

高可用方案——跨園區(qū)

有一些業(yè)務，希望能提供地域級別的保障服務，COS也支持跨園區(qū)高可用方案：上傳請求通過高可用域名寫入主站，同時會異步的把數(shù)據(jù)同步到其他地域的備站，讀請求通過CDN節(jié)點回源到主站后，主站會把資源及實時處理后的資源異步寫入到異地的備站緩存中，確保主站異常，CDN去備站訪問時，備站的緩存集群有主站的熱緩存數(shù)據(jù)，能夠穩(wěn)定可靠的為業(yè)務提供服務。

值得一提的是跨園區(qū)方案是全球可用的，所以在跨國場景下也可以使用這個方案，實現(xiàn)國內(nèi)外園區(qū)間的數(shù)據(jù)同步，同時國內(nèi)外CDN也可以配置不同的源站，就近回源，最大程度上提升用戶訪問速度和體驗。

最后，王淼表示，存儲是很多服務的基石，未來圍繞著存儲可以創(chuàng)造出無限的可能！