基因測(cè)序數(shù)據(jù)分析加速面臨的挑戰(zhàn)
· 基因測(cè)序分析流程BWT+GATK當(dāng)前被業(yè)界廣泛采納,但采用此流程的傳統(tǒng)測(cè)序方法需要消耗高額算力及存儲(chǔ)資源，且耗時(shí)較長(zhǎng)。
· 針對(duì)基因測(cè)序中高算力需求的smith-waterman，pair-hmm等算法處理，其具有計(jì)算并行性，不連續(xù)，非規(guī)則的存儲(chǔ)訪問(wèn)，低bit操作等特性，計(jì)算依賴不規(guī)則區(qū)域的操作會(huì)對(duì)CPU消耗很大，性能難以提升。
02
華為云FPGA基因加速解決方案的優(yōu)勢(shì)
為了更好的解決基因測(cè)序行業(yè)面臨的基因組分析標(biāo)準(zhǔn)流程不經(jīng)濟(jì)高效以及跨不同云和硬件（CPUs，F(xiàn)PGAs）加速實(shí)現(xiàn)的雙重挑戰(zhàn)，華為云和峰科計(jì)算強(qiáng)強(qiáng)聯(lián)合，合作推出符合行業(yè)標(biāo)準(zhǔn)的GATK加速流程，通過(guò)對(duì)基因測(cè)序數(shù)據(jù)分析流程進(jìn)行軟、硬件聯(lián)合優(yōu)化實(shí)現(xiàn)端到端加速。
· 華為云提供業(yè)界領(lǐng)先的FPGA加速云服務(wù)平臺(tái)，采用業(yè)界領(lǐng)先的Xilinx 16nm Virtex UltraScale+ VU9P FPGA，并針對(duì)基因場(chǎng)景推出32核CPU 224GB內(nèi)存1*VU9P FPGA和64核CPU 448GB內(nèi)存2*VU9P FPGA規(guī)格的實(shí)例，實(shí)現(xiàn)了GATK 軟件處理流程和FPGA加速流程的完美結(jié)合，從而將加速效率提升3~5倍；
· 峰科采用GATK標(biāo)準(zhǔn)分析流程，精準(zhǔn)性與GATK標(biāo)準(zhǔn)流程完全吻合，精度可達(dá)99.95%以上；
· 不修改GATK標(biāo)準(zhǔn)流程，可訪問(wèn)讀取從原始測(cè)序數(shù)據(jù)到生成vcf文件整個(gè)過(guò)程中的中間數(shù)據(jù)，便于科研用戶使用比對(duì)。
03
華為云FPGA基因加速解決方案解析
華為云FPGA基因加速解決方案集成峰科的加速I(mǎi)P，為用戶提供一種易于使用，經(jīng)濟(jì)實(shí)惠的基于FPGA的基因組分析流程加速服務(wù)，在該方案中，華為云配備了32核CPU，單個(gè)VU9P FPGA的實(shí)例。
華為云FPGA基因加速解決方案使用GATK最佳方案對(duì)種系突變和體細(xì)胞突變進(jìn)行變異檢測(cè)，將計(jì)算密集型算法如Smith-Waterman、PairHMM等確定為加速對(duì)象。每種算法都經(jīng)過(guò)FPGA內(nèi)核優(yōu)化，并且實(shí)現(xiàn)CPU-FPGA協(xié)同執(zhí)行和資源分配。
如圖1所示，用戶通過(guò)分析應(yīng)用程序，把每個(gè)流程的數(shù)據(jù)傳給華為云峰科加速平臺(tái)，平臺(tái)里的Kestrel運(yùn)行時(shí)管理工具來(lái)管理CPU-FPGA協(xié)同執(zhí)行和資源分配。利用多線程，I / O優(yōu)化和擴(kuò)展使用FPGA加速器，華為云FPGA基因加速服務(wù)的基因組學(xué)分析流程在保證精準(zhǔn)度的情況下提供顯著的加速。
與GATK 最佳使用流程相對(duì)稱(chēng)，典型的基因測(cè)序數(shù)據(jù)分析流程始于原始FASTQ序列兩端讀長(zhǎng)(paired-end reads)，進(jìn)一步獲取一組經(jīng)過(guò)濾的變體，對(duì)其進(jìn)行標(biāo)記以供進(jìn)一步分析。圖2描述了華為云基因加速服務(wù)種系變異調(diào)用流水線的具體流程，中間面板指示開(kāi)始的通常工作流程，上下分別顯示華為云FPGA基因加速方案中的峰科加速流程和GATK最佳使用流程命令實(shí)現(xiàn)方式的工作流程。
圖2 華為云峰科基因加速流程和GATK最佳使用流程對(duì)比
基于華為云FPGA加速服務(wù)，使用FPGA優(yōu)化加速GATK流程，基因組分析流程可以實(shí)現(xiàn)3～5倍速度提升和99.95％以上的準(zhǔn)確度。華為云FPGA基因加速解決方案最快基因組序列分析標(biāo)準(zhǔn)流程可在一天內(nèi)完成5個(gè)全基因組或24個(gè)整體外顯子組分析。
Performance comparison for GATK 3.8 WGS from Alignment to Variant Calling using Hoplotypecaller
：測(cè)試數(shù)據(jù)使用的是30X的WGS樣本，堿基數(shù)量103G
相關(guān)推薦
11月5日，知情人士透露，在不久前舉行的國(guó)際電聯(lián)IPTV標(biāo)準(zhǔn)重要工作會(huì)議上，包括信產(chǎn)部電信研究院、電信、網(wǎng)通、華為、中興、UT斯達(dá)康、上海貝爾阿爾卡特等在內(nèi)的我國(guó)7個(gè)企業(yè)、機(jī)構(gòu)又奪得多個(gè)重要的管理位置，掌握了制定IPTV國(guó)際標(biāo)準(zhǔn)的相當(dāng)重要的話語(yǔ)權(quán)。爭(zhēng)奪IPTV主導(dǎo)權(quán)據(jù)悉，10月16日至20日，國(guó)際電聯(lián)IPTV焦點(diǎn)組(ITU-TFGIPTV)第二次會(huì)議在韓國(guó)釜山舉行，來(lái)自全球的200名代表參加了這次會(huì)議。IPTV被認(rèn)為是未來(lái)最重要的電信業(yè)務(wù)之一，但標(biāo)準(zhǔn)之爭(zhēng)由來(lái)已久，不僅是電信運(yùn)營(yíng)商和廣電運(yùn)營(yíng)商各執(zhí)一詞，去年年底，原來(lái)被看好的洋標(biāo)準(zhǔn)MEPG4被曝要收高額的專(zhuān)利費(fèi)，連運(yùn)營(yíng)商也不放過(guò)，引起中國(guó)運(yùn)營(yíng)商和
華為中興在海外頻獲大訂單，專(zhuān)家認(rèn)為人民幣升值4%對(duì)中國(guó)電信設(shè)備價(jià)格優(yōu)勢(shì)影響有限“幾乎每一、兩周，中國(guó)運(yùn)營(yíng)商會(huì)獲取海外訂單，承建網(wǎng)絡(luò)建設(shè)等諸如此類(lèi)的消息。其中以華為和中興在海外的擴(kuò)張速度令人驚嘆?！贬槍?duì)近期華為、中興在海外攻城略地的擴(kuò)張消息電信分析人士指出，盡管到目前為止人民幣升值并未對(duì)國(guó)內(nèi)電信設(shè)備商的出口產(chǎn)生過(guò)大的影響，但隨著人民幣升值加速，包括中國(guó)電信設(shè)備商將拋棄過(guò)去依賴廉價(jià)取勝的競(jìng)爭(zhēng)模式實(shí)現(xiàn)產(chǎn)業(yè)升級(jí)。華為中興海外占半壁江山伴隨著中國(guó)和世界電信業(yè)的發(fā)展浪潮，華為、中興等電信設(shè)備商在海外持續(xù)擴(kuò)張，海外市場(chǎng)已經(jīng)占據(jù)其銷(xiāo)售額的半壁江山。本月15日，華為集團(tuán)宣布將幫助德國(guó)第三大固網(wǎng)運(yùn)營(yíng)商Versat
12月22日?qǐng)?bào)道：華為技術(shù)有限公司（"華為"）日前宣布承建意大利電信（”TelecomItalia"）在意大利國(guó)內(nèi)的城域波分項(xiàng)目。截至目前，華為成為第一個(gè)入選意大利電信項(xiàng)目的中國(guó)通訊設(shè)備供應(yīng)商。本次合作，是繼華為成為英國(guó)電信（BT）21CN全網(wǎng)傳輸設(shè)備和多業(yè)務(wù)綜合接入（MSAN）的供應(yīng)商、獨(dú)家中標(biāo)荷蘭皇家電信（KPN）CWDM/DWDM項(xiàng)目之后，再一次成功攜手歐洲主流電信運(yùn)營(yíng)商。憑借完善的產(chǎn)品和解決方案，華為順利通過(guò)了意大利電信專(zhuān)家的嚴(yán)格謹(jǐn)慎評(píng)估，贏得了合同。華為意大利代表處代表喬小平表示：”該項(xiàng)目是華為與意大利電信的首次合作，但我們相信華為在光網(wǎng)絡(luò)領(lǐng)域的領(lǐng)先技術(shù)、豐富的設(shè)備成熟商用經(jīng)驗(yàn)以及以
UT斯達(dá)康奔流系統(tǒng)：在IPTV標(biāo)志性市場(chǎng)獲用方案介紹：UT斯達(dá)康IPTV整體解決方案——奔流(RollingStream)是一套開(kāi)放的支持多業(yè)務(wù)、多服務(wù)終端的寬帶多媒體業(yè)務(wù)平臺(tái)，通過(guò)IP網(wǎng)絡(luò)提供廣播級(jí)視頻質(zhì)量的視頻和各類(lèi)互動(dòng)業(yè)務(wù)，為運(yùn)營(yíng)商提供端到端的數(shù)據(jù)、語(yǔ)音、視頻“Tripleplay”業(yè)務(wù)。奔流系統(tǒng)為IPTV業(yè)務(wù)提供了端到端的業(yè)務(wù)解決方案，包括內(nèi)容制作、內(nèi)容存儲(chǔ)/加密、內(nèi)容分發(fā)、內(nèi)容播放、終端顯示的各個(gè)方面，都可提供基于電信級(jí)的解決方案。同時(shí)，奔流也是一個(gè)開(kāi)放的系統(tǒng)，可提供基于中間件形式的系統(tǒng)整合能力，成功的集成第三方的產(chǎn)品，諸如DRM系統(tǒng)、機(jī)頂盒、內(nèi)容Encoder等。奔流采用了模塊化的