深度學習擴大了對核廢料修復的研究

勞倫斯·伯克利國家實驗室(伯克利實驗室)，西北太平洋國家實驗室(PNNL)，布朗大學和NVIDIA之間的研究合作已在Summit超級計算機上實現(xiàn)了exaflop性能，該應用程序具有用于對核廢料研究中的地下流動建模的深度學習應用程序補救措施。他們的成就將在SC19的“超級計算機上的深度學習”研討會上進行介紹，展示了基于物理學的生成型對抗網(wǎng)絡(luò)(GANs)用于分析復雜的大規(guī)?？茖W問題的希望。

布朗應用數(shù)學教授，SC19研討會論文的合著者喬治·卡尼亞達基斯(George Karniadakis)說：“在科學上，我們知道物理定律和觀測原理-質(zhì)量，動量，能量等。” “基于物理的GAN的概念是將來自物理的先驗信息編碼到神經(jīng)網(wǎng)絡(luò)中。這使您可以超越訓練領(lǐng)域，這在條件可能發(fā)生變化的應用中非常重要。”

SC19論文的合著者Prabhat指出，GAN已被應用到人臉外觀的建模中，準確性很高。Prabhat領(lǐng)導了伯克利實驗室國家能源研究科學計算中心的數(shù)據(jù)和分析服務(wù)團隊。他說：“在科學上，伯克利實驗室已探索了將香草GAN用于創(chuàng)建合成宇宙和粒子物理實驗的應用;迄今為止，面臨的開放挑戰(zhàn)之一是將物理約束條件納入預測之中。” “喬治和他在布朗的研究小組開創(chuàng)了將物理學納入GAN并使用它們來合成數(shù)據(jù)的方法(在這種情況下是地下流場)。”

在這項研究中，研究人員集中于1943年建立的漢福德基地，這是曼哈頓項目的一部分，該項目旨在生產(chǎn)用于核武器的eventually，并最終成為世界上第一座大規(guī)模scale生產(chǎn)反應堆，另外八個核反應堆和五個processing加工復合物。1989年p生產(chǎn)結(jié)束時，留下的是大型地下儲罐中的數(shù)千萬加侖放射性和化學廢物，以及估計向土壤處理場處置了4,500億加侖液體而造成的100平方英里以下的地下水污染。因此，在過去30年中，美國能源部一直與環(huán)境保護局和華盛頓州生態(tài)部合作，清理位于580平方英里(近500英里)的漢福德。

通過在Summit超級計算機上使用具有物理信息的GAN，研究團隊能夠估算參數(shù)并量化地下流動的不確定性。此圖像顯示了1級(黑色)和2級(彩色)Hanford站點周圍傳感器的位置。單位為公里。圖片來源：勞倫斯·伯克利國家實驗室

為了跟蹤清理工作，工人依靠漢福德工地的鉆井，并在這些井中放置傳感器來收集有關(guān)地質(zhì)特性和地下水流量的數(shù)據(jù)，并觀察污染物的進程。PNNL的計算數(shù)學家，SC19論文的合著者亞歷克斯·塔塔科夫斯基(Alex Tartakovsky)解釋說，像漢福德遺址這樣的地下環(huán)境非常異質(zhì)，空間特性各不相同。“僅從數(shù)據(jù)中估算漢福德站點的屬性就需要進行一百萬次以上的測量，實際上，我們可能需要進行一千次測量。物理定律可以幫助我們彌補數(shù)據(jù)的不足。”

Tartakovsky補充說：“標準的參數(shù)估計方法是假設(shè)參數(shù)可以采用許多不同的形式，然后對于每種形式，您必須解決地下流動方程，可能需要數(shù)百萬次才能確定最適合觀測結(jié)果的參數(shù)。” 但是對于這項研究，研究團隊采取了另一種方法：使用具有物理信息的GAN和高性能計算來估計參數(shù)并量化地下流動的不確定性。

對于這項早期的驗證工作，研究人員選擇使用合成數(shù)據(jù)，即由基于漢福德站點專家知識的計算模型生成的數(shù)據(jù)。這使他們能夠創(chuàng)建現(xiàn)場的虛擬表示，然后可以根據(jù)他們感興趣的測量參數(shù)(主要是水力傳導率和水頭)，根據(jù)需要對其進行操作，這兩個參數(shù)都是建模污染物位置的關(guān)鍵。未來的研究將結(jié)合實際的傳感器數(shù)據(jù)和實際條件。

Tartakovsky說：“該項目的最初目的是估計方法的準確性，因此我們使用合成數(shù)據(jù)而不是實際測量值。” “這使我們能夠根據(jù)測量次數(shù)來估計具有物理信息的GANS的性能。”

在Oak Ridge領(lǐng)導力計算設(shè)施OLCF的Summit超級計算機上訓練GAN時，團隊能夠達到1.2 exaflop的峰值和持續(xù)的性能，這是應用于SPDE的大規(guī)模GAN架構(gòu)的第一個示例。漢福德站點的地理范圍，空間異質(zhì)性和多個相關(guān)長度尺度需要將GAN模型訓練到數(shù)千個維度，因此該團隊開發(fā)了高度優(yōu)化的實現(xiàn)，可在Summit上擴展到27,504個NVIDIA V100 Tensor Core GPU和4,584個節(jié)點， 93.1%縮放效率。

NVIDIA AI系統(tǒng)團隊的負責人Mike Houston說：“要達到如此大規(guī)模和性能，就需要完整的堆棧優(yōu)化和多種策略來提取最大的并行度。” “在芯片級，我們優(yōu)化了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和設(shè)計，以通過TensorFlow中的cuDNN支持最大化Tensor Core的利用率。在節(jié)點級，我們使用NCCL和NVLink進行高速數(shù)據(jù)交換。在系統(tǒng)級，我們不僅優(yōu)化了Horovod和MPI，不僅結(jié)合了數(shù)據(jù)和模型，而且還處理了敵對的并行策略。為了最大程度地利用我們的GPU，我們必須對數(shù)據(jù)進行分片，然后進行分發(fā)以與并行化技術(shù)保持一致。”

Prabhat說：“這是GAN架構(gòu)的新高潮。” “我們想創(chuàng)建一個廉價的替代品來進行非常昂貴的仿真，而我們能夠在此處證明的是，受物理約束的GAN架構(gòu)可以產(chǎn)生與我們的物理知識相一致的空間場。此外，該示例項目還匯集了專家從地下建模，應用數(shù)學，深度學習和HPC開始。美國能源部考慮了深度學習(尤其是GAN)在模擬問題中的廣泛應用，我希望有多個研究團隊會受到這些結(jié)果的啟發(fā)。”

論文“ 用于隨機PDE的學習解決方案的高度可擴展的，具有物理信息的GAN ”將在SC19深度學習超級計算機研討會上發(fā)表。一世