Kafka將為信息系統(tǒng)提供LinkedIn為商務(wù)人士所做的事情

必要性仍然是發(fā)明之母。正如一位精明的顧問(wèn)曾經(jīng)告訴我的那樣，“如果某個(gè)組織需要發(fā)生某些事情，它就會(huì)發(fā)生。” 他的觀點(diǎn)有兩方面：1)有些人總能找到辦法完成任務(wù); 而且，2)高級(jí)管理層，甚至是中層管理人員，很可能不知道在他們自己的機(jī)構(gòu)內(nèi)如何完成工作。

如果我們將這個(gè)比喻擴(kuò)展到整個(gè)數(shù)據(jù)管理領(lǐng)域，我們可以看到現(xiàn)在正在發(fā)生轉(zhuǎn)變。大數(shù)據(jù)的原始?jí)毫εc流數(shù)據(jù)軸相結(jié)合，造成了如此大的壓力，以至于傳統(tǒng)系統(tǒng)在邊緣處磨損，如果不是完全崩潰的話。盡管如此，目前還有無(wú)數(shù)專(zhuān)業(yè)人士正在開(kāi)展工作，他們基本上沒(méi)有意識(shí)到這一現(xiàn)實(shí)。

數(shù)據(jù)傳播的數(shù)據(jù)驅(qū)動(dòng)型企業(yè)擁有前排座位，并在很多方面推動(dòng)了這一變化。想想像Yahoo!，F(xiàn)acebook和LinkedIn這樣的強(qiáng)國(guó)如何通過(guò)他們對(duì)開(kāi)源的巨大捐款將企業(yè)軟件產(chǎn)業(yè)轉(zhuǎn)向一邊：Hadoop，Cassandra和現(xiàn)在的Kafka，所有這些都是由Apache基金會(huì)領(lǐng)導(dǎo)的，它本身就是一個(gè)核心參與者。 metamorhphosis。

所有這些變化的結(jié)果是什么?我們今天目睹的是數(shù)據(jù)管理本身的分類(lèi)重新分類(lèi)和重組。這并不是說(shuō)遺留系統(tǒng)現(xiàn)在將被刪除和替換。任何行業(yè)資深人士都會(huì)告訴你，遺產(chǎn)系統(tǒng)的大規(guī)模解散發(fā)生的頻率與芝加哥小熊隊(duì)贏得世界大賽一樣頻繁。至少可以說(shuō)，這是一個(gè)罕見(jiàn)的事件。

真正發(fā)生的事情是，在舊世界系統(tǒng)周?chē)ㄔ炝艘粋€(gè)超級(jí)結(jié)構(gòu)?？紤]州際高速公路的類(lèi)比，它通常高于他們所服務(wù)的城市和城鎮(zhèn)，旨在將人員和貨物運(yùn)送到這些人口中心，并為其中的任何人和任何事物提供出口。它們不會(huì)取代現(xiàn)有的道路，而是用高速替代品來(lái)增加它們。

這正是Apache Kafka所做的：它為信息系統(tǒng)之間和之間的數(shù)據(jù)移動(dòng)提供了高速路徑。按照高速公路類(lèi)比，仍有許多公司使用線性消息隊(duì)列，或舊標(biāo)準(zhǔn)的ETL(extract-transform-load); 但是這些路徑的速度限制很慢，而且有許多坑洼; 此外，維護(hù)成本往往過(guò)高; 標(biāo)牌很差。

Kafka提供了一種交付數(shù)據(jù)的替代方法，一種絕對(duì)實(shí)時(shí)，可擴(kuò)展且經(jīng)久耐用的方法。這意味著Kafka不僅是數(shù)據(jù)移動(dòng)工具，也是數(shù)據(jù)復(fù)制者; 并且在一定程度上是分布式數(shù)據(jù)庫(kù)技術(shù)。我們應(yīng)該謹(jǐn)慎對(duì)待類(lèi)比太多，因?yàn)镵afka還沒(méi)有運(yùn)動(dòng)的ACID兼容數(shù)據(jù)庫(kù)的特征。不過(guò)，這種變化是真實(shí)的。

這對(duì)于信息領(lǐng)域來(lái)說(shuō)是個(gè)好消息，因?yàn)閿?shù)據(jù)現(xiàn)在可以自由地在和世界各地移動(dòng)。曾經(jīng)是一個(gè)痛苦的約束，即打擊ETL過(guò)程的批處理窗口，現(xiàn)在消散很多，因?yàn)殪F讓位于炎熱太陽(yáng)的強(qiáng)光下清除天空。當(dāng)將數(shù)據(jù)從一個(gè)系統(tǒng)移動(dòng)到另一個(gè)系統(tǒng)變得邊緣無(wú)縫時(shí)，一個(gè)新的機(jī)會(huì)時(shí)代就會(huì)到來(lái)。

人類(lèi)可能是數(shù)據(jù)新未來(lái)之路上最大的摩擦。舊習(xí)難改。Nary一位CIO對(duì)于對(duì)企業(yè)系統(tǒng)進(jìn)行批量更改感到非常興奮。一位精明的高級(jí)管理人員表示：“準(zhǔn)備好寂寞。” 在評(píng)論的一年內(nèi)，他是一名顧問(wèn)。這不是一條容易的道路，試圖管理非常笨拙的企業(yè)數(shù)據(jù)世界。

好消息是卡夫卡提供了未來(lái)的入口。因?yàn)樗且粋€(gè)高性能，多方面的消息總線，它在遺留系統(tǒng)和前瞻性系統(tǒng)之間架起了橋梁。因此，以開(kāi)放的思想和充足的預(yù)算接受這個(gè)新機(jī)會(huì)的組織將能夠進(jìn)入新的世界，而不會(huì)拋棄舊的世界。這是一個(gè)非常重要的事情。

下到商業(yè)

雖然Apache Kafka是一種開(kāi)源技術(shù)，任何人都可以免費(fèi)下載和使用，但為L(zhǎng)inkedIn創(chuàng)建此軟件的人們已經(jīng)分拆了一個(gè)名為Confluent的獨(dú)立實(shí)體，該實(shí)體專(zhuān)注于加強(qiáng)企業(yè)使用的產(chǎn)品。就像Cloudera，Hortonworks和MapR圍繞Apache Hadoop的開(kāi)源項(xiàng)目建立他們的業(yè)務(wù)一樣，因此Confluent尋求通過(guò)Kafka獲利。

在最近的InsideAnalysis采訪中，Confluent首席執(zhí)行官兼聯(lián)合創(chuàng)始人Jay Kreps解釋了其在LinkedIn的起源：

“我們?cè)噲D在那里解決幾個(gè)不同的問(wèn)題。一個(gè)是，我們擁有所有這些不同數(shù)據(jù)系統(tǒng)和不同類(lèi)型的數(shù)據(jù)。我們有數(shù)據(jù)庫(kù)，我們有日志文件，我們有關(guān)于服務(wù)器的指標(biāo)，我們有用戶(hù)點(diǎn)擊的東西。獲取所有數(shù)據(jù) - 因?yàn)樗兊煤艽?- 真的很難。數(shù)據(jù)的強(qiáng)大功能只有在你可以將它應(yīng)用到應(yīng)用程序，處理或需要它的系統(tǒng)時(shí)才會(huì)出現(xiàn)。這是一個(gè)大問(wèn)題。

“我們遇到的另一個(gè)問(wèn)題是我們采用了Hadoop，這是我參與的事情。我們有這個(gè)奇妙的離線處理平臺(tái)，我們可以擴(kuò)展，我們可以將所有數(shù)據(jù)放入。對(duì)于LinkedIn，我們所有的數(shù)據(jù)都是真實(shí)的時(shí)間。持續(xù)生成數(shù)據(jù)?？偸谴嬖谶@種不匹配，因?yàn)槲覀冊(cè)噲D從我們的數(shù)據(jù)中實(shí)際構(gòu)建業(yè)務(wù)的關(guān)鍵部分;在每天運(yùn)行一次，可能在晚上運(yùn)行并在第二天生成結(jié)果之間，這種連續(xù)的數(shù)據(jù) - 短暫的交互時(shí)間 - 你必須要趕上。我們希望能夠在學(xué)術(shù)界做一段時(shí)間的事情，但實(shí)際上并不是一個(gè)主流的東西，它應(yīng)該是能夠在生成數(shù)據(jù)時(shí)利用和處理數(shù)據(jù)流，而不是他們坐下來(lái)。“

好。這正是Confluent現(xiàn)在尋求的各種形狀和大小的企業(yè)數(shù)據(jù)。在比賽中的機(jī)會(huì)?格林菲爾德。坦率地說(shuō)，在企業(yè)軟件的整個(gè)歷史中，人們可以爭(zhēng)辯說(shuō)，這種技術(shù)的可尋址市場(chǎng)絕對(duì)占上風(fēng)。沒(méi)有一個(gè)大型組織，甚至是數(shù)據(jù)量很大的小型企業(yè)，都無(wú)法從這項(xiàng)技術(shù)中獲益匪淺。

由于該技術(shù)的神經(jīng)學(xué)方面，尤其如此; 不僅僅是涉及的思想，而是卡夫卡為信息系統(tǒng)所做的事情的本質(zhì)。因?yàn)镵afka可以用來(lái)管理整個(gè)組織的數(shù)據(jù)移動(dòng)，所以它可以被視為不僅僅是交通，而是操作本身的大腦。我們處于該愿景的早期階段，但請(qǐng)放心，這是真的。

Kafka如何改變數(shù)據(jù)管理

要了解Kafka如何改變數(shù)據(jù)管理的本質(zhì)，只需考慮LinkedIn改變網(wǎng)絡(luò)的方式。找到同事變得如此容易; 與人保持聯(lián)系現(xiàn)在很容易。Kafka將為L(zhǎng)inkedIn為商務(wù)人士所做的事情提供信息系統(tǒng)：讓他們?cè)谶@個(gè)地球的最廣泛范圍內(nèi)保持聯(lián)系。

Confluent的衍生產(chǎn)品象征著我們可能稱(chēng)之為“新創(chuàng)新”的事物，這是一種由軟件開(kāi)發(fā)和封閉源性思維脫鉤驅(qū)動(dòng)的運(yùn)動(dòng)，由開(kāi)源技術(shù)的創(chuàng)造者引導(dǎo)，由大量風(fēng)險(xiǎn)資本推動(dòng)，貨幣化尋求改變組織和人員如何創(chuàng)建，收集，分析和利用數(shù)據(jù)的營(yíng)利性公司。

引用Franz Kafka的話說(shuō)，“從某一點(diǎn)開(kāi)始，不再有任何回頭。這是必須達(dá)到的點(diǎn)。”