大數(shù)據(jù)是當(dāng)今信息繁重世界中最有前途但最具挑戰(zhàn)性的方面之一

為了解決大數(shù)據(jù)科學(xué)中的一個主要障礙，KAUST研究人員創(chuàng)建了一個框架，用于搜索在不同計(jì)算體系結(jié)構(gòu)上輕松運(yùn)行的大型數(shù)據(jù)集。他們的成就使研究人員能夠?qū)Ｗ⒂谕七M(jìn)搜索引擎或查詢引擎本身，而不是精心編寫特定的計(jì)算平臺。

大數(shù)據(jù)是當(dāng)今信息繁重世界中最有前途但最具挑戰(zhàn)性的方面之一。雖然巨大且不斷擴(kuò)展的信息集(如在線收集的數(shù)據(jù)或遺傳信息)可以為科學(xué)和人類提供強(qiáng)有力的見解，但處理和查詢所有這些數(shù)據(jù)需要高度復(fù)雜的技術(shù)。

已經(jīng)探索了許多不同的查詢大數(shù)據(jù)的方法。但是最強(qiáng)大和計(jì)算效率之一是基于使用主題 - 謂詞 - 對象三元組結(jié)構(gòu)分析數(shù)據(jù)(例如，apple，是a，fruit)。這種結(jié)構(gòu)有助于將其視為具有邊和頂點(diǎn)的圖形，并且該特性已被用于為特定計(jì)算體系結(jié)構(gòu)編碼查詢引擎以獲得最大效率。但是，這種特定于體系結(jié)構(gòu)的方法無法輕松移植到不同的平臺，從而限制了分析創(chuàng)新和進(jìn)步的機(jī)會。

“現(xiàn)代計(jì)算系統(tǒng)提供多樣化的平臺和加速器，對它們進(jìn)行編程可能會令人生畏和耗時，”Fuad Jamour和Yanzhao Chen博士說。KAUST極端計(jì)算研究中心Panos Kalnis小組的候選人。“我們的研究小組專注于構(gòu)建用于處理和分析非常大的數(shù)據(jù)集的系統(tǒng)和算法。這項(xiàng)研究解決了編寫程序一次然后在不同平臺上使用它的愿望。”

該組不是使用先前使用的圖遍歷或窮舉關(guān)系索引方法，而是使用稱為稀疏矩陣代數(shù)的應(yīng)用數(shù)學(xué)方法來查詢?nèi)M數(shù)據(jù)。

“我們的論文描述了第一個以矩陣代數(shù)為核心的研究圖形查詢引擎，以解決可移植性問題，”Jamour說。“大多數(shù)現(xiàn)有的圖形查詢引擎都是針對單個計(jì)算機(jī)或小型分布式內(nèi)存系統(tǒng)而設(shè)計(jì)的。將現(xiàn)有引擎移植到大型分布式內(nèi)存系統(tǒng)(如超級計(jì)算機(jī))需要大量的工程工作。我們的稀疏矩陣代數(shù)方案可用于構(gòu)建可擴(kuò)展的，便攜和高效的圖形查詢引擎。“

該團(tuán)隊(duì)在大型真實(shí)和合成數(shù)據(jù)集上的實(shí)驗(yàn)實(shí)現(xiàn)了與現(xiàn)有的復(fù)雜查詢專用方法相當(dāng)或更好的性能。他們的計(jì)劃還具有擴(kuò)展到處理高達(dá)512億三元組數(shù)據(jù)集的超大型計(jì)算基礎(chǔ)架構(gòu)的能力。

“這些想法可以促進(jìn)圖形數(shù)據(jù)庫中的分析組件的構(gòu)建，具有尖端的性能，目前需求量很大，”Chen說。