據(jù)悉，Data Artisans由領(lǐng)導(dǎo)開發(fā)Apache Flink(開源大規(guī)模數(shù)據(jù)處理技術(shù))的團(tuán)隊(duì)于2014年創(chuàng)立。該創(chuàng)業(yè)公司為包括Netflix，ING，Uber和阿里巴巴在內(nèi)的企業(yè)客戶提供了自己的dA平臺，包括開源Apache Flink和Application Manager。

兩家公司分別在聲明中稱，自2016年以來，阿里巴巴一直與Data Artisans合作，通過支持和開源工作來幫助軟件的架構(gòu)和性能。Data Artisans首席執(zhí)行官Kostas Tzoumas表示，阿里巴巴還將向該公司投入一筆未公開的資金，用于開發(fā)Apache Flink，這是一種可處理大量數(shù)據(jù)的開源軟件，并可擴(kuò)展到新的業(yè)務(wù)領(lǐng)域。
 

而阿里巴巴集團(tuán)副總裁周敬仁在一份聲明中表示：“通過利用兩個團(tuán)隊(duì)的技術(shù)專長和共同的熱情來開發(fā)開源社區(qū)，我們相信這一戰(zhàn)略合作將進(jìn)一步加強(qiáng)Flink社區(qū)的發(fā)展，加速數(shù)據(jù)處理技術(shù)并幫助開放，對于那些熱衷于流處理和為現(xiàn)代企業(yè)提供實(shí)時應(yīng)用的全球開發(fā)人員來說，這是一個協(xié)作和建設(shè)性的環(huán)境。”
 

阿里為什么會選擇Apache Flink
 

隨著人工智能時代的降臨，數(shù)據(jù)量的爆發(fā)，在典型的大數(shù)據(jù)的業(yè)務(wù)場景下數(shù)據(jù)業(yè)務(wù)最通用的做法是：選用批處理的技術(shù)處理全量數(shù)據(jù)，采用流式計(jì)算處理實(shí)時增量數(shù)據(jù)。在絕大多數(shù)的業(yè)務(wù)場景之下，用戶的業(yè)務(wù)邏輯在批處理和流處理之中往往是相同的。但是，用戶用于批處理和流處理的兩套計(jì)算引擎是不同的。
 

因此，用戶通常需要寫兩套代碼。毫無疑問，這帶來了一些額外的負(fù)擔(dān)和成本。阿里巴巴的商品數(shù)據(jù)處理就經(jīng)常需要面對增量和全量兩套不同的業(yè)務(wù)流程問題，所以阿里就在想，我們能不能有一套統(tǒng)一的大數(shù)據(jù)引擎技術(shù)，用戶只需要根據(jù)自己的業(yè)務(wù)邏輯開發(fā)一套代碼。這樣在各種不同的場景下，不管是全量數(shù)據(jù)還是增量數(shù)據(jù)，亦或者實(shí)時處理，一套方案即可全部支持，這就是阿里選擇Flink的背景和初衷。
 

這筆交易讓人回想起阿里巴巴2017年對MariaDB的投資，這是一家開源創(chuàng)業(yè)公司，以提供MySQL最受歡迎的替代品：數(shù)據(jù)庫管理系統(tǒng)而聞名。雖然不是完整的收購，但合作伙伴關(guān)系已經(jīng)看到兩家公司合作為社區(qū)開發(fā)新產(chǎn)品，這也是這里的目標(biāo)。
 

轉(zhuǎn)向開源和基礎(chǔ)架構(gòu)技術(shù)對于阿里巴巴來說是非常有意義的，眾所周知，阿里巴巴以電子商務(wù)而聞名，但同時也提供云業(yè)務(wù)，流媒體等服務(wù)。據(jù)悉，公司上一季度的凈利潤為26.6億美元，營收為124億美元，阿里巴巴肯定有足夠的資金來實(shí)施這一戰(zhàn)略。
 

當(dāng)被問及為什么阿里巴巴進(jìn)行收購而不是繼續(xù)合伙或投資時，阿里巴巴副總裁周敬仁表示：“我們有信心在技術(shù)和社區(qū)發(fā)展方面為Flink做出更多貢獻(xiàn)。這是兩個團(tuán)隊(duì)聚集在一起的共同愿景和有效的工作關(guān)系。我們感謝彼此學(xué)習(xí)，努力使數(shù)據(jù)處理開源社區(qū)更加開放，協(xié)作和多樣化。”
 

周敬仁同時也表示：“自2016年以來，我們一直是Data Artisans的強(qiáng)大合作伙伴，我們一直都熱衷于使用開源流處理框架來統(tǒng)一實(shí)時事件驅(qū)動的應(yīng)用程序和實(shí)時分析。Data Artisans和阿里巴巴已經(jīng)參與Apache Flink社區(qū)多年，絕對尊重Apache軟件基金會的精神，我們打算繼續(xù)這樣做。”
 

Apache Flink現(xiàn)狀
 

Flink是一個低延遲、高吞吐、統(tǒng)一的大數(shù)據(jù)計(jì)算引擎。在阿里巴巴的生產(chǎn)環(huán)境中，F(xiàn)link的計(jì)算平臺可以實(shí)現(xiàn)毫秒級的延遲情況下，每秒鐘處理上億次的消息或者事件。同時Flink提供了一個Exactly-once的一致性語義。保證了數(shù)據(jù)的正確性。這樣就使得Flink大數(shù)據(jù)引擎可以提供金融級的數(shù)據(jù)處理能力。
 

基于Apache Flink在阿里巴巴搭建的平臺于2016年正式上線，并從阿里巴巴的搜索和推薦這兩大場景開始實(shí)現(xiàn)。目前阿里巴巴所有的業(yè)務(wù)，包括阿里巴巴所有子公司都采用了基于Flink搭建的實(shí)時計(jì)算平臺。同時Flink計(jì)算平臺運(yùn)行在開源的Hadoop集群之上。采用Hadoop的YARN做為資源管理調(diào)度，以 HDFS作為數(shù)據(jù)存儲。因此，F(xiàn)link可以和開源大數(shù)據(jù)軟件Hadoop無縫對接。
 

目前，這套基于Flink搭建的實(shí)時計(jì)算平臺不僅服務(wù)于阿里巴巴集團(tuán)內(nèi)部，而且通過阿里云的云產(chǎn)品API向整個開發(fā)者生態(tài)提供基于Flink的云產(chǎn)品支持。
 

阿里巴巴自2015 年開始改進(jìn)Flink，并創(chuàng)建了內(nèi)部分支Blink，目前服務(wù)于阿里集團(tuán)內(nèi)部搜索、推薦、廣告和螞蟻等大量核心實(shí)時業(yè)務(wù)。12 月20 日，由阿里巴巴承辦的Flink Forward China 峰會在北京國家會議中心召開，來自阿里、華為、騰訊、美團(tuán)點(diǎn)評、滴滴、字節(jié)跳動等公司的技術(shù)專家與參會者分享了各公司基于Flink 的應(yīng)用和實(shí)踐經(jīng)驗(yàn)。在大會的主題演講上，阿里巴巴集團(tuán)副總裁周靖人宣布，阿里巴巴內(nèi)部Flink 版本Blink 將于2019 年1 月正式開源，之后會經(jīng)過社區(qū)討論合并回Flink。