改變計算規(guī)則可以減輕大數(shù)據(jù)對互聯(lián)網(wǎng)的影響

當我們在日常生活中前所未有地依賴互聯(lián)網(wǎng)的時候，由莫沙拉夫·喬杜里和哈沙·馬迪亞斯塔領(lǐng)導(dǎo)的U-M研究小組已經(jīng)找到了一種方法，讓科技公司、和衛(wèi)生系統(tǒng)從我們現(xiàn)有的基礎(chǔ)設(shè)施中擠出更多的能力。

對大數(shù)據(jù)軟件工具Apache Spark設(shè)計的改變可以使世界上最大的計算能力用戶在減輕他們在互聯(lián)網(wǎng)上的負擔的同時，更快地處理高達16倍的大量任務(wù)。 喬杜里是一名助理教授，Madhyastha是計算機科學(xué)和工程的副教授。 該修改稱為Sol，現(xiàn)在可在GitHub上下載。

星火是一個開源的電子框架，充當任務(wù)管理器，協(xié)調(diào)龐大的單個計算機網(wǎng)絡(luò)，作為一臺大型計算任務(wù)的單機一起工作。 它是世界上使用最廣泛的同類工具之一，被每一家主要的科技公司以及、電信公司、政府和許多其他公司使用。

當Spark在十年前建立時，這項工作的大部分發(fā)生在大型數(shù)據(jù)中心，那里的巨大機器庫位于一個站點。 但今天，它越來越多地被用來連接遍布全球并通過互聯(lián)網(wǎng)連接的機器。

喬杜里在加州大學(xué)伯克利分校的研究生期間幫助建造了Spark。 他解釋說，它使用一個稱為執(zhí)行引擎的組件將工作打包給單個機器。 它主要是為大型數(shù)據(jù)中心設(shè)計的，在那里，同一個本地網(wǎng)絡(luò)上的一組機器可以快速地相互通信。 但是，當機器相隔數(shù)千英里，通過相對狹窄的互聯(lián)網(wǎng)管道連接時，它的效率就會降低。

Chowdhury說：“Spark現(xiàn)有的執(zhí)行引擎在最后一分鐘就決定在哪里發(fā)送工作——只有在CPU發(fā)出信號表明它已經(jīng)準備好進行更多的工作之后，它才會發(fā)送新的任務(wù)?！?“這種方法最大限度地提高了靈活性，當一項任務(wù)被安置在一個單一的數(shù)據(jù)中心時，這是有意義的。 但互聯(lián)網(wǎng)連接的機器之間的通信需要更長的時間。 最后一分鐘的方法常常使CPU沒有得到充分利用，這意味著它們正坐在一起等待工作?！?/p>

于是，喬杜里和馬達莎，與研究生研究助理范來和杰有以及本科生祥峰朱一起寫了一個新的執(zhí)行引擎，名為Sol。 索爾采取了一種更積極主動的方法；它不是等待CPU發(fā)出信號，表明他們已經(jīng)準備好接受一項新工作，而是猜測哪些是下一個排隊，并積極地向他們推送新任務(wù)。 它還指示機器在可能的情況下在本地處理數(shù)據(jù)，而不是不斷地在機器之間移動數(shù)據(jù)。

這意味著減少機器之間數(shù)據(jù)和命令的洗牌，減輕互聯(lián)網(wǎng)的負擔，加快數(shù)據(jù)處理。 喬杜里的團隊發(fā)現(xiàn)，它的計算速度極快，使普通任務(wù)的速度提高了4到16倍。

雖然目前可用的版本是軟件的研究版本，而不是一個更拋光的產(chǎn)品，喬杜里說，以目前的形式發(fā)布它是一種在速度是必不可少的時候推動研究的方式。

他說：“范來已經(jīng)開始幫助那些想要嘗試的人了?！?“我們正在盡我們所能迅速行動?！?/p>