使用GPU的快速且有彈性的分布式矩陣計(jì)算引擎

DGIST于7月4日宣布，信息和通信工程部的Min-Soo Kim教授團(tuán)隊(duì)開(kāi)發(fā)了DistME(分布式矩陣引擎)技術(shù)，該技術(shù)可以比現(xiàn)有技術(shù)快14倍地分析數(shù)據(jù)。這項(xiàng)新技術(shù)有望用于需要大數(shù)據(jù)處理或各種行業(yè)領(lǐng)域的機(jī)器學(xué)習(xí)，以便將來(lái)分析大規(guī)模數(shù)據(jù)。

“矩陣”數(shù)據(jù)表示行和列中的數(shù)字，是機(jī)器學(xué)習(xí)和科學(xué)技術(shù)等各種領(lǐng)域中使用最廣泛的數(shù)據(jù)形式。雖然'SystemML'和'ScaLAPACK'被評(píng)估為分析矩陣數(shù)據(jù)的最流行的技術(shù)，但是隨著數(shù)據(jù)量的增長(zhǎng)，現(xiàn)有技術(shù)的處理能力最近已達(dá)到極限。對(duì)于數(shù)據(jù)處理所需的乘法，使用現(xiàn)有方法進(jìn)行大數(shù)據(jù)分析尤其困難，因?yàn)樗鼈儾荒軋?zhí)行彈性分析和處理，并且需要大量的網(wǎng)絡(luò)數(shù)據(jù)傳輸來(lái)進(jìn)行處理。

作為回應(yīng)，Kim教授的團(tuán)隊(duì)開(kāi)發(fā)了一種與現(xiàn)有方法不同的分布式矩陣乘法方法。也稱為CuboidMM，此方法在三維六面體中形成矩陣乘法，然后將其分割并處理為多個(gè)稱為長(zhǎng)方體的片段。根據(jù)矩陣的特征，即矩陣的大小，尺寸和稀疏度，靈活地確定長(zhǎng)方體的最佳尺寸，以便最小化通信成本。CuboidMM不僅包括所有現(xiàn)有方法，還可以以最小的通信成本執(zhí)行矩陣乘法。此外，Kim教授的團(tuán)隊(duì)通過(guò)結(jié)合GPU(圖形處理單元)設(shè)計(jì)了一種信息處理技術(shù)，該技術(shù)大大提高了矩陣乘法的性能。

由Kim教授團(tuán)隊(duì)開(kāi)發(fā)的DistME技術(shù)通過(guò)將CuboidMM與GPU相結(jié)合，提高了處理速度，分別比ScaLAPACK和SystemML快6.5和14倍，并且可以分析比SystemML大100倍的矩陣數(shù)據(jù)。預(yù)計(jì)將在需要大規(guī)模數(shù)據(jù)處理的各個(gè)領(lǐng)域(包括在線購(gòu)物中心和SNS)開(kāi)啟機(jī)器學(xué)習(xí)的新適用性。

金信教授在信息與通信工程系表示，機(jī)器學(xué)習(xí)技術(shù)一直受到全世界的關(guān)注，在矩陣式大數(shù)據(jù)分析的速度和分析處理的大小方面存在局限性。這次開(kāi)發(fā)的信息處理技術(shù)可以克服這些限制，不僅可以用于機(jī)器學(xué)習(xí)，還可以用于更廣泛的科學(xué)技術(shù)數(shù)據(jù)分析應(yīng)用。“