Cloudera數(shù)據(jù)平臺啟用了多混合云 降低了Hadoop的復雜性

Cloudera數(shù)據(jù)平臺(CDP)今天發(fā)布。這是一個分水嶺式的發(fā)布，給Hadoop和大數(shù)據(jù)帶來了根本性的變化。這是數(shù)項發(fā)展的高潮，包括Cloudera與其昔日競爭對手Hortonworks的合并。交付的壓力非常大。

還有:Cloudera和Hortonworks的合并交易價值52億美元。是大數(shù)據(jù)嗎?

今年3月，cloudera公布了合并后的第一個季度業(yè)績，但市場卻止步不前。Cloudera公布的第四財季和第一季度財季業(yè)績均低于華爾街預期。然后討論了客戶如何在CDP發(fā)布之前推遲續(xù)約協(xié)議，CDP將合并各自的Cloudera和Hortonworks legacyHadoop/Spark發(fā)行版——CDH和HDP。

從本質上說，Cloudera把奧斯本效應強加給了自己，從那以后，為了阻止明顯的流血，開始了CDP的競賽。不久之后，首席執(zhí)行官湯姆?賴利(Tom Reilly)和創(chuàng)始人兼首席戰(zhàn)略官邁克?奧爾森(Mike Olson)雙雙退休。過于熱心的行業(yè)觀察人士開始撰寫他們的Cloudera訃告。當時，ZDNet的主編Lawrence Dignan給出了一個更加實證的分析:“現(xiàn)在Cloudera面臨的挑戰(zhàn)很明顯:它不能在Cloudera數(shù)據(jù)平臺上有任何延遲?！?/p>

同時，AWS競爭對手云計算也表示:Cloudera的客戶在Cloudera數(shù)據(jù)平臺首席執(zhí)行官賴利退休前停止了續(xù)訂

好像這還不夠刺激似的，上個月，維權投資者卡爾?伊坎(Carl Icahn)及其子公司收購了Cloudera 18%以上的股份，并在Cloudera董事會贏得了兩個席位。但是現(xiàn)在Cloudera可能可以呼氣了。該公司本月早些時候公布了樂觀的第二季度財報，今天，年度地層數(shù)據(jù)紐約會議(Cloudera與O'Reilly共同出席)開幕，Cloudera確實推出了CDP。

另請閱讀:Cloudera超過第二季度的估計，因為訂閱收入上升

Cloudera的臨時CEO Martin Cole和首席營銷官Mick Hollison向我簡要介紹了公司的發(fā)展方向和CDP戰(zhàn)略?？茽栂蛭医忉屨f，它接受了維權投資者卡爾·伊坎的干預，因為伊坎認識到Cloudera被低估了。Hollison向我解釋說，CDP毫不掩飾地將重點放在了支持這一評估的企業(yè)客戶上，因為Cloudera有140個客戶，他們每年花費100萬美元以上，而超過950個客戶(包括前面提到的140個)每年花費超過10萬美元。

Cloudera首席產(chǎn)品官、Hortonworks聯(lián)合創(chuàng)始人和Hadoop提交者Arun Murthy親自向我介紹了CDP。當他剝開一層層的洋蔥時，我清楚地意識到，CDP = CDH + HDP不是正確的等式。CDP是Hadoop/Spark棧的完全重新構建。雖然這聽起來有點夸張，但事實似乎確實如此。CDP是一個虛擬平臺，它可以管理數(shù)據(jù)和數(shù)據(jù)工作負載，按需上下旋轉或擴展必要的集群基礎設施和軟件，并且可以跨三個主要的公共云來完成這些工作。

實際上，合并后的CDH/HDP發(fā)行版幾乎是一個實現(xiàn)細節(jié)，它的原始內容已被重命名并重新歸類為“Cloudera運行時”。這并不是說核心發(fā)行版不重要;這絕對是基礎。但是，就像建筑物一樣，地基不是你看到的、管理的、交互的，甚至不是你想的。它的基礎設施。就像Hadoop(和Spark)一直應該的那樣。

該平臺通過Cloudera的共享數(shù)據(jù)體驗(SDX)的增強版進行管理，并通過一個名為Cloudera Data Hub的組件展示Cloudera的運行時功能，Murthy將其描述為Amazon的彈性MapReduce (EMR)的等效物。但除了運行時、SDX和數(shù)據(jù)集線器，還有很多;CDP包括許多其他服務，包括:

但是，由于Cloudera的控制平面由其管理控制臺、工作負載管理器、復制管理器和數(shù)據(jù)目錄(其沿襲可以追溯到前Hortonworks Data Steward Studio和Apache Atlas)組成，因此整體要比部分的總和復雜得多。這些組件一起支持跨本地環(huán)境和所有三個主要的公共云的統(tǒng)一管理和部署。Murthy還向我解釋說，on-prem的體驗和部署在云上的CDP一樣，都是軟件即服務，而且可以在一小時內安裝完畢。對于任何與Hadoop相關的東西，這種加速的設置時間是前所未有的。

實際上，控制平面可以讓現(xiàn)有的on-prem實現(xiàn)“躍入云”，甚至可以提供運行到云的成本估算。假設客戶對答案滿意，她將能夠將數(shù)據(jù)(以及維護對其進行適當治理的策略)、堆棧組件和所有依賴項部署到她選擇的云上。

這一切都是通過重新架構舊的發(fā)行版來分離計算和存儲，用Ozone(一種本地對象存儲)或云對象存儲代替Hadoop的分布式文件系統(tǒng)(HDFS)，用Kubernetes (K8s)代替Hadoop的YARN(一種突然無處不在的開源容器編配技術)實現(xiàn)的。Cloudera利用了RedHat基于openshift的K8s集群，或者在云中部署到Azure Kuberenetes Service (AKS)、谷歌Kubernetes Engine (GKE)或Amazon Web Services的Elastic Kubernetes Service (ek)。k8使得這一切可移植性和即時實例化可能的原因有兩個:(1),它提供了一個抽象的本地數(shù)據(jù)中心和三大公共云(2)k8節(jié)點自旋向上的速度遠遠超過做公共云基礎設施即服務(IaaS)平臺上的虛擬機(vm)。

Docker容器和K8s集群的可腳本性和動態(tài)性使Hadoop/Spark集群具有可移植性、彈性可伸縮性和可丟棄性。再加上CDP利用AWS簡單存儲服務(S3)、Azure數(shù)據(jù)湖存儲(ADLS)或云中的谷歌云存儲(GCS)以及Okta/SAML進行單點登錄的能力，包就完成了。集群是如此的動態(tài)，實際上，根據(jù)Murthy的說法，通過BI工具的授權訪問可以使Cloudera數(shù)據(jù)倉庫集群在需要時啟動，只需通過JDBC連接它們即可。

我還沒有使用CDP，但是Murthy向我保證他向我演示的所有東西都是基于發(fā)布的部分。而且，盡管受控的演示總是可以用來混淆不穩(wěn)定性或尚未實現(xiàn)的特性，但即使CDP的功能只是一個路線圖，您也會發(fā)現(xiàn)它令人印象深刻且具有啟發(fā)性。不過，鑒于Cloudera公開宣稱的對企業(yè)客戶的關注，如果我看到的只是虛假的東西，我會感到驚訝。公司及其領導層知道，如果公司要擺脫上一季度業(yè)績的恥辱，他們的東西必須是真實的。

Cloudera和Hortonworks合并,現(xiàn)在消退到HPE MapR的商業(yè)資產(chǎn),客戶的選擇是明確的:使用云提供商“房子品牌”Hadoop服務(AWS的EMR, Azure HDInsight或谷歌云Dataproc)商品化Hadoop和火花,老Cloudera失利,或去增值提供抽象的專家,管理和多/混合云功能,體現(xiàn)在新Cloudera。