研究人員為高性能計算創(chuàng)建了第一個可組合的可組合存儲平臺

大規(guī)模，先進(jìn)的高性能計算(通常稱為超級計算)對于解決復(fù)雜和大問題至關(guān)重要。

從回答關(guān)于宇宙起源的形而上學(xué)詢問到發(fā)現(xiàn)抗癌藥物到支持高速流媒體服務(wù)，一切都需要處理大量數(shù)據(jù)。

但是，對于這些高級計算機(jī)系統(tǒng)而言必不可少的存儲平臺一直處于僵硬的框架中，需要用戶在功能定制或高可用性之間進(jìn)行選擇。

現(xiàn)在，弗吉尼亞理工大學(xué)的研究人員已經(jīng)找到了一種方法，可以讓高性能計算(HPC)數(shù)據(jù)系統(tǒng)通過名為BespoKV的首個框架靈活地發(fā)展，也許有助于有朝一日實(shí)現(xiàn)HPC的目標(biāo)。 exascale，或每秒10億次計算。

研究人員將于11月13日在德克薩斯州達(dá)拉斯舉行的計算機(jī)協(xié)會/ IEEE超級計算會議上發(fā)表他們的研究結(jié)果。

新平臺運(yùn)行的主要因素是關(guān)鍵價值(KV)系統(tǒng)。KV系統(tǒng)存儲和檢索來自非?？焖俚幕趦?nèi)存的存儲而不是較慢的磁盤的重要數(shù)據(jù)。這些系統(tǒng)越來越多地用于當(dāng)今使用分布式系統(tǒng)的高性能應(yīng)用程序，這些應(yīng)用程序由許多計算機(jī)組成以解決問題。高性能計算依賴于計算機(jī)以前所未有的速度接收，處理和分析大量數(shù)據(jù)。目前，最好的系統(tǒng)每秒運(yùn)行千萬億次計算或千萬億次計算。

這項研究與處理大量數(shù)據(jù)的行業(yè)有關(guān)，無論是空間占用，電影流媒體網(wǎng)站的強(qiáng)烈視覺圖形; 大型信用卡公司的數(shù)百萬金融交易; 或社交媒體上的用戶生成內(nèi)容。想想像Facebook這樣的大型媒體網(wǎng)站，其內(nèi)容不斷變換和不斷訪問。當(dāng)用戶將內(nèi)容上載到其個人資料頁面時，該信息駐留在多個服務(wù)器上。

但是，如果您必須不斷訪問某些內(nèi)容，KV系統(tǒng)作為存儲介質(zhì)可以更加高效，因?yàn)閮?nèi)容從附近的內(nèi)存存儲器加載，而不是遠(yuǎn)處的存儲服務(wù)器。這允許系統(tǒng)在完成任務(wù)或請求時提供非常高的性能。

“我對關(guān)鍵價值系統(tǒng)感興趣，因?yàn)檫@個非常基礎(chǔ)和簡單的存儲平臺尚未在高性能計算系統(tǒng)中被利用，它可以提供很多好處，”報告的第一作者Ali Anwar說道。弗吉尼亞理工大學(xué)畢業(yè)生，目前在IBM Research工作。“BespoKV是一個新穎的框架，可以使HPC系統(tǒng)提供很多靈活性和性能，而不是被束縛在嚴(yán)格的存儲設(shè)計上。”

BespoKV的主要創(chuàng)新之處在于它支持組合一系列具有理想功能的KV商店。它的工作原理是采用一個名為datalet的單服務(wù)器KV存儲，并支持即時和即用的分布式KV存儲。現(xiàn)在，開發(fā)人員可以將數(shù)據(jù)集放入BespoKV并將分布式系統(tǒng)的“混亂管道”卸載到框架，而不是從頭開始重新設(shè)計系統(tǒng)來完成特定任務(wù)。BespoKV將KV 存儲設(shè)計解耦到用于分布式管理的控制平面和用于本地數(shù)據(jù)存儲的數(shù)據(jù)平面。

該框架還為企業(yè)和機(jī)構(gòu)尚未預(yù)見的工作負(fù)載提供新的HPC服務(wù)。

當(dāng)前最先進(jìn)的KV商店的主要限制效果之一是它們在設(shè)計時考慮了預(yù)先存在的分布式服務(wù)，并且通常專門用于特定設(shè)置。另一個限制因素是不靈活的單片設(shè)計，其中分布式功能深入烘焙到具有后端數(shù)據(jù)存儲的系統(tǒng)中，后端數(shù)據(jù)存儲執(zhí)行管理庫存，訂單和供應(yīng)等操作。這些KV存儲的嚴(yán)格設(shè)計不能適應(yīng)不斷變化的用戶對無數(shù)后端，拓?fù)?，一致性和許多其他服務(wù)的需求。

計算機(jī)科學(xué)教授阿里巴特說：“大公司的開發(fā)人員可以真正投入到使用BespoKV設(shè)計創(chuàng)新HPC存儲系統(tǒng)的過程中。” “數(shù)據(jù)訪問性能是HPC存儲系統(tǒng)的主要限制，通常采用混合解決方案來提供靈活性和性能，這很麻煩。我們已經(jīng)創(chuàng)建了一種方法來顯著加快系統(tǒng)行為，以符合所需的性能，一致性，和可靠性水平。“

BespoKV可以靈活，因?yàn)樗试S所需服務(wù)和可用組件之間的任意映射，同時支持分布式管理服務(wù)以實(shí)現(xiàn)和啟用與數(shù)據(jù)集相關(guān)聯(lián)的分布式KV存儲。

“現(xiàn)在我們已經(jīng)證明我們可以在強(qiáng)大的HPC系統(tǒng)中使用KV系統(tǒng)進(jìn)行高效而簡單的操作，客戶不必在可擴(kuò)展性和靈活性之間做出選擇，”Butt說。