Informatica在云數(shù)據(jù)管道上增加了一倍

在過去的幾年里，我們一直專注于云原生架構(gòu)如何改變數(shù)據(jù)庫的研究。通過將計(jì)算與存儲分離，數(shù)據(jù)庫提供者能夠通過無服務(wù)器部署簡化操作;利用快速的互連和廉價的存儲來擴(kuò)展復(fù)制，從而提高服務(wù)水平;并通過利用存儲中的智能重新定義事務(wù)提交的方式。

由于企業(yè)越來越需要處理來自數(shù)據(jù)中心內(nèi)部和外部的數(shù)據(jù)，因此集成平臺即服務(wù)(IPaaS)已經(jīng)成為一個競爭非常激烈的市場。IPaaS市場非常擁擠，包括一系列專注于應(yīng)用程序和/或數(shù)據(jù)集成的提供商。

我們最近有機(jī)會深入研究Informatica的智能云服務(wù)(IICS)。這實(shí)際上是Informatica在云中的第二次嘗試，因?yàn)樗鼘⒄麄€Informatica組合重新設(shè)計(jì)為一個云本地平臺。IICS于2016年推出，最近其對Informatica投資組合的覆蓋達(dá)到了臨界質(zhì)量。

這家公司最近因?yàn)檫_(dá)到幾個關(guān)鍵的里程碑而上了新聞。自私有化以來，該公司首次實(shí)現(xiàn)了10億美元的經(jīng)常性收入，他們剛剛宣布換屆，由產(chǎn)品主管擔(dān)任CEO。

說得更簡單一點(diǎn)，Informatica也發(fā)現(xiàn)了數(shù)據(jù)目錄的bug。是的，我們對目錄也有自己的抱怨，因?yàn)槲覀円恢闭J(rèn)為數(shù)據(jù)目錄應(yīng)該是更廣泛的集成解決方案的一部分，而不是它們自己的豎井。但事實(shí)是，在大多數(shù)組織中，企業(yè)數(shù)據(jù)目錄的概念將被證明與實(shí)現(xiàn)企業(yè)數(shù)據(jù)模型和主數(shù)據(jù)管理方案一樣實(shí)用和可能。不管怎樣，數(shù)據(jù)目錄有很多種。對于擁有或使用數(shù)據(jù)的人員或部門組織來說，數(shù)據(jù)可能是一種個人化的東西，因此部門或部門級別的數(shù)據(jù)目錄具有不同尋常的持久力。好吧，我們說的是你。

因此，Informatica將其數(shù)據(jù)目錄定位為“目錄的目錄”是很現(xiàn)實(shí)的，因?yàn)榇蠖鄶?shù)組織可能會有多個目錄。Informatica的目錄旨在成為從各種點(diǎn)獲取元數(shù)據(jù)和發(fā)現(xiàn)關(guān)系的結(jié)締組織。Informatica將其目錄嵌入到其投資組合的元數(shù)據(jù)層。

言歸正傳，Informatica的云集成平臺即服務(wù)(IPaaS)。platform展示了將以前一系列不同的工具重構(gòu)和重新架構(gòu)為基于云的微服務(wù)體系結(jié)構(gòu)的可能性。

基于通用元數(shù)據(jù)核心，有不同的連接和集成層，其中觸發(fā)了攝取和ETL操作;用戶體驗(yàn);以及處理引擎，在那里你可以選擇執(zhí)行方法的選擇，如星火批處理，實(shí)時串流。系統(tǒng)通過將處理推到數(shù)據(jù)存儲位置附近來自動優(yōu)化執(zhí)行模式。例如，可以將SQL調(diào)用推入數(shù)據(jù)庫，將Spark處理推入數(shù)據(jù)湖，而實(shí)時物聯(lián)網(wǎng)處理則直接推入流引擎。它允許對工作負(fù)載進(jìn)行物理分離，因此可以同時進(jìn)行攝取、復(fù)制、查詢處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)分析，同時最小化或消除干擾。

通過將計(jì)算從存儲中分離出來，并將公共功能抽象到微服務(wù)中，它允許平臺利用無服務(wù)器操作，消除了管理來自客戶的自動標(biāo)度的負(fù)擔(dān)。通過重構(gòu)數(shù)據(jù)管理服務(wù)的“核心平臺”(例如，運(yùn)行時、安全代理、集群、連接等)，可以促進(jìn)重用，并使系統(tǒng)能夠更好地抵御錯誤——這是交付一致sla的關(guān)鍵。

當(dāng)然，如果不強(qiáng)調(diào)機(jī)器學(xué)習(xí)的作用，任何關(guān)于托管云服務(wù)的對話都是不完整的，因?yàn)閮烧叨加泄采P(guān)系。的關(guān)鍵畫云是操作簡單,它可以提供,管理云服務(wù),服務(wù)提供者可以從客戶如何使用其服務(wù)的“學(xué)習(xí)”提供指導(dǎo)經(jīng)驗(yàn),可以進(jìn)一步簡化操作和快速調(diào)試操作問題,否則沼澤人在故障排除。反過來，通過操作托管服務(wù)，云提供商擁有為ML模型提供數(shù)據(jù)的寶貴日志。在我們2019年的年度展望中，我們談到了云和機(jī)器學(xué)習(xí)與數(shù)據(jù)庫的關(guān)系:云將重新定義數(shù)據(jù)庫的架構(gòu)，機(jī)器學(xué)習(xí)將運(yùn)行它。這同樣適用于作為服務(wù)提供的任何平臺，如IPaaS。

Informatica一直在穩(wěn)步增加機(jī)器學(xué)習(xí)在其服務(wù)中的使用，并將其打上了克萊爾(CLAIRE)的烙印。它不是一個獨(dú)立的特性或單一的算法，而是ML的一個保護(hù)傘，它使跑腿工作自動化，以保持操作簡單。例如，如果一個集成作業(yè)由于緩存問題而失敗，那么CLAIRE會“響應(yīng)”建議重新調(diào)整緩存。雖然它聽起來可能不像解決世界饑餓問題的人工智能模型那樣引人注目，但在托管的云服務(wù)中，ML提供的適度優(yōu)化(如重新調(diào)整緩存)是有意義的。