在互聯(lián)網(wǎng)時代，伴隨著5G技術(shù)發(fā)展的越來越成熟，邊緣計算作為5G的核心，各個垂直行業(yè)都在考慮對垂直行業(yè)的邊緣計算資源進行投資。與此同時，人工智能、邊緣計算與物聯(lián)網(wǎng)的融合越來越受到重視，邊緣計算正迅速成為生成數(shù)據(jù)的設(shè)備和處理數(shù)據(jù)的公共云之間的渠道。

在機器學習和人工智能的背景下，公共云用于訓練模型，邊緣用于推理。谷歌TPU和“珊瑚邊緣平臺”打開了谷歌邊緣AI賦能的典型案例。

為了加速Machine Learning訓練，包括AWS、Azure、谷歌云平臺（GCP）等公有云服務(wù)提供商都會提供一個由GPU支持的虛擬機。目前，Nvidia的GPU是ML研究人員和數(shù)據(jù)科學家云中訓練的首選加速器。

 
谷歌許多產(chǎn)品和服務(wù)的核心都會基于其機器學習的能力。為此，谷歌構(gòu)建了一個稱為Tensor Processing Unit（TPU）的定制ASIC（專用集成電路）。與GPU不同，TPU主要針對神經(jīng)網(wǎng)絡(luò)所需的大規(guī)模并行計算進行了高度優(yōu)化。 谷歌一直在將TPU用于各種應(yīng)用，例如搜索，照片和翻譯。 TPU的整體設(shè)計都是基于ML進行設(shè)計，具有谷歌在機器學習方面的豐富經(jīng)驗和領(lǐng)導力?，F(xiàn)在谷歌的TPU3.0芯片具有8倍性能、快速迭代的特點，各方面都比以往的TPU2.0更上一層樓。

與此同時，在云計算方面，谷歌也一直在向GCP客戶展示一些內(nèi)部工具和平臺。那么自然而然的，基于云的TPU能力成為GCP用戶可以使用的服務(wù)之一?？蛻敉ㄟ^TensorFlow便能在谷歌的TPU加速器硬件上運行機器學習工作負載。 云TPU旨在實現(xiàn)最高性能和靈活性，以幫助研究人員，開發(fā)人員和企業(yè)構(gòu)建TensorFlow計算群集。高級Tensorflow API可幫助開發(fā)人員在云TPU硬件上運行模型。云TPU能夠以合理的價格提供TensorFlow模型建立最佳的性能培訓。目前綜合來看，云TPU的確是公有云產(chǎn)品中成本最低的ML加速器。

而更讓人振奮的是，近期，谷歌宣布推出Edge TPU，這是一款專為單板計算機和片上系統(tǒng)設(shè)備設(shè)計的微型云TPU。盡管Edge TPU可用于訓練ML模型，但事實上，邊緣的價值是專為推理而設(shè)計的。

Google建議使用其云服務(wù)來訓練TensorFlow模型并將其轉(zhuǎn)換為在Edge TPU上運行。 TensorFlow Lite作為TensorFlow的一種形態(tài)，適用于移動設(shè)備和低功耗環(huán)境。現(xiàn)有TensorFlow模型可以轉(zhuǎn)換為在iOS和Android上運行的TensorFlow Lite格式。針對邊緣TPU進一步優(yōu)化TensorFlow Lite模型。Edge TPU模塊體積小，非常適合用于無人機，相機和掃描儀等設(shè)備中。

為了使開發(fā)人員能夠輕松地編程和調(diào)試用于推理的模型，谷歌已經(jīng)構(gòu)建了一個名為“珊瑚”的平臺。它結(jié)合了硬件和軟件，使開發(fā)人員能夠快速構(gòu)建AI解決方案原型。

目前，有兩種“珊瑚”方案可供開發(fā)人員在邊緣編程AI，它們是 Coral Dev Board和USB Accelerator。Coral Dev Board是一款單板計算機，帶有可移動的模塊化系統(tǒng)（SOM），采用Edge TPU，而且是一款獨立設(shè)備，擁有獨立的相機模塊，用于實時顯示圖像和視頻。 它還有一組與Raspberry Pi標頭兼容的GPIO。 針對Edge TPU優(yōu)化的TensorFlow Lite模型可以在設(shè)備上本機運行。 Coral Dev Board的關(guān)鍵用例是使用TensorFlow模型解決計算機視覺問題的邊緣解決方案。

谷歌還有另一款配備Edge TPU的設(shè)備，稱為USB Accelerator。 類似于USB記憶棒，該設(shè)備可以插入任何Debian主機的USB端口，包括Raspberry Pi。 它配有USB-C連接器，可提供更高的吞吐量和功率。 主機只需要運行Coral SDK就可以將TF Lite模型轉(zhuǎn)移到Edge TPU。 開發(fā)人員可以使用USB加速器在任何現(xiàn)有Linux主機上對AI解決方案進行原型設(shè)計。

在未來，AI+EC+IOT逐漸成為一種趨勢，是需要運用到更多的應(yīng)用場景中，比如車聯(lián)網(wǎng)、智慧城市、智能家居等，這樣也會使我們的生活更加便利。