Tapis計(jì)算平臺(tái)將科學(xué)計(jì)算工具編織在一起

希望降低研究難度并在工具帶中添加新的計(jì)算工具的科學(xué)家可以探索Tapis項(xiàng)目。Tapis軟件平臺(tái)旨在幫助研究人員更輕松地利用功能強(qiáng)大的超級(jí)計(jì)算機(jī)，并集成和管理來自不同遙遠(yuǎn)來源的數(shù)據(jù)。

科學(xué)基金會(huì)(NSF)向德克薩斯高級(jí)計(jì)算中心(TACC)和德克薩斯大學(xué)奧斯汀分校(UT Austin)授予了290萬美元的資助，此外還向夏威夷大學(xué)(UH)提供了100萬美元的獎(jiǎng)勵(lì)。NSF獎(jiǎng)項(xiàng)于2019年9月開始，旨在支持Tapis的持續(xù)開發(fā)，Tapis是TACC-API的縮寫，從掛毯一詞開始，將服務(wù)和功能融合在一起。一個(gè)應(yīng)用程序編程接口(API)是一個(gè)接口的軟件系統(tǒng)已建成或改造的另一個(gè)程序使用。

“ Tapis是用于計(jì)算科學(xué)和計(jì)算研究的研究計(jì)算平臺(tái)，”負(fù)責(zé)TACC的云計(jì)算和交互式計(jì)算小組的首席研究員(PI)喬·斯塔布斯說。“ Tapis是一個(gè)軟件系統(tǒng)，可以幫助研究人員使用我們?cè)赥ACC和其他地方擁有的超級(jí)計(jì)算機(jī)和其他類型的計(jì)算資源。”

“描述Tapis的最簡(jiǎn)單方法是，它是一個(gè)基于Web的應(yīng)用程序，它提供了現(xiàn)代科學(xué)家進(jìn)行數(shù)據(jù)密集型，計(jì)算密集型研究所需的所有工具，”大學(xué)網(wǎng)絡(luò)基礎(chǔ)設(shè)施主管Co-PI Gwen A. Jacobs說。夏威夷系統(tǒng)。“ Tapis的與眾不同之處之一是，它將研究人員需要的所有重要工具編織在一起。這就是Tapis的真正力量。”

Tapis將在使用計(jì)算工具進(jìn)行研究的過程中為具有不同專業(yè)知識(shí)的各種用戶提供服務(wù)。擁有高端計(jì)算資源和編程經(jīng)驗(yàn)的“高級(jí)用戶”將是其中的一員。Tapis將幫助他們自動(dòng)化和簡(jiǎn)化大型的工作流程或軟件應(yīng)用程序管道。

在光譜的另一端，科學(xué)家才剛剛開始探索將先進(jìn)計(jì)算應(yīng)用于他們的研究的可能性。Stubbs說：“我們正在嘗試使用Tapis為他們做的事情，是在超級(jí)計(jì)算機(jī)上運(yùn)行計(jì)算程序的最簡(jiǎn)單方法。”

然后是中間一個(gè)小組，通常是大型軟件開發(fā)項(xiàng)目，專注于特定的研究領(lǐng)域，例如免疫學(xué)，天文學(xué)或生物信息學(xué)。

Stubbs說：“ Tapis的目標(biāo)是使研究人員能夠以更加用戶友好的方式訪問這些計(jì)算資源。”

由NSF資助的計(jì)算資源被廣泛描述為網(wǎng)絡(luò)基礎(chǔ)設(shè)施，即研究人員共享的在線生態(tài)系統(tǒng)，由高級(jí)計(jì)算資源作為后盾，托管在數(shù)據(jù)中心中，并得到專家的支持。“那些網(wǎng)絡(luò)基礎(chǔ)設(shè)施項(xiàng)目的Web開發(fā)人員團(tuán)隊(duì)和其他開發(fā)人員可以利用Tapis更快地構(gòu)建其網(wǎng)絡(luò)基礎(chǔ)設(shè)施項(xiàng)目。”

為此，一個(gè)示例是TAPIS API框架對(duì)流傳感器數(shù)據(jù)的支持，其中在復(fù)雜的工作流程中，一個(gè)事件(例如，對(duì)傳感器陣列的檢測(cè))可能觸發(fā)另一個(gè)事件，依此類推，甚至是多個(gè)分析例程。

雅各布斯解釋說：“事件驅(qū)動(dòng)的計(jì)算意味著工作流并非一直在運(yùn)行。對(duì)于那些需要從傳感器和數(shù)據(jù)等來源獲取數(shù)據(jù)的科學(xué)家來說，這是一個(gè)很棒的功能上傳。這意味著他們不必手動(dòng)運(yùn)行所有代碼。工作流建立之后，就可以進(jìn)行免提計(jì)算，從而實(shí)現(xiàn)免提分析。”

Tapis將整合由地球科學(xué)基金會(huì)(NSF)資助的EarthCube組成的地球科學(xué)(CHORDS)項(xiàng)目云托管實(shí)時(shí)數(shù)據(jù)服務(wù)，以實(shí)現(xiàn)事件驅(qū)動(dòng)的計(jì)算。

從某種意義上說，應(yīng)用于科學(xué)的API允許不同的系統(tǒng)相互通信。Stubbs說：“使用Tapis的想法是要有一個(gè)機(jī)器可讀和易用的接口來連接計(jì)算資源，例如超級(jí)計(jì)算機(jī)，還有高性能的存儲(chǔ)系統(tǒng)，例如我們的Corral存儲(chǔ)系統(tǒng)或我們的全局文件系統(tǒng)，Stockyard，以及我們希望擁有一個(gè)易于在其他程序中訪問和操作的界面。”

Tapis將提供的另一個(gè)功能是新的安全內(nèi)核，其作用類似于控制對(duì)系統(tǒng)資源的訪問的門。Tapis安全內(nèi)核將被分散化，使科學(xué)家可以更輕松地站立自己的應(yīng)用程序并保留對(duì)機(jī)密數(shù)據(jù)的本地控制。

夏威夷大學(xué)網(wǎng)絡(luò)基礎(chǔ)設(shè)施研究科學(xué)家Co-PI Sean Cleveland說：“新的安全內(nèi)核使我們能夠提供過去完成的所有托管安全性，身份驗(yàn)證和授權(quán)。”“但是它還將允許數(shù)據(jù)中心和機(jī)構(gòu)部署自己的安全內(nèi)核，以便他們可以使用自己的用戶憑據(jù)并以自己的方式管理自己的安全性，以及在其機(jī)構(gòu)中部署框架的各個(gè)組件，并且能夠利用一些集中的工作，這是一個(gè)使用科學(xué)即服務(wù)，平臺(tái)即服務(wù)的新型混合系統(tǒng)，但是如果您想要更多的控制和定制功能，則可以在現(xiàn)場(chǎng)部署較小的組件而且仍然能夠利用一些較大的托管組件來滿足不同的需求。”

Tapis將為用戶提供簡(jiǎn)化創(chuàng)建應(yīng)用程序的過程的能力，這是科學(xué)家的強(qiáng)大工具。雅各布斯說：“如果您可以對(duì)工作流程進(jìn)行編程，并使該工作流程在Tapis這樣的平臺(tái)上運(yùn)行，則可以簡(jiǎn)化流程，因?yàn)樗薪M件都可以更輕松地相互交流。”“這意味著研究人員必須構(gòu)建一次該工作流程。然后，他們將該工作流程另存為Tapis基礎(chǔ)架構(gòu)中的應(yīng)用程序并重復(fù)使用。”

保存軟件環(huán)境的所有參數(shù)也將使科學(xué)家能夠在以后再次返回并再次運(yùn)行數(shù)據(jù)分析，從而提高了科學(xué)可重復(fù)性。

Stubbs解釋說：“這實(shí)際上是TACC與夏威夷大學(xué)之間的完整合作。”

TACC在高性能計(jì)算和構(gòu)建分布式軟件系統(tǒng)方面擁有廣泛的專業(yè)知識(shí)。盡管TACC的某些組件將在NSF資助的Jetstream云上運(yùn)行，但Tapis的組件本身可以在商品服務(wù)器或現(xiàn)成的服務(wù)器上運(yùn)行。

UH的團(tuán)隊(duì)成員正在為Tapis系統(tǒng)的開發(fā)，設(shè)計(jì)和體系結(jié)構(gòu)做出貢獻(xiàn)。更重要的是，它們?yōu)闅夂?，海洋，珊瑚礁，人類微生物組以及圍繞健康差異的人口研究等領(lǐng)域的夏威夷提供了大量重要的領(lǐng)域研究信息。

雅各布斯說：“在夏威夷為我們提供Tapis項(xiàng)目，對(duì)于將先進(jìn)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施應(yīng)用到數(shù)據(jù)密集型科學(xué)中，是一個(gè)巨大的認(rèn)識(shí)提升。”“沒有這樣的項(xiàng)目，我們的許多研究人員可能不會(huì)意識(shí)到這些資源。”

研究人員正在努力的主要里程碑之一是在2020年夏季為早期采用者舉辦的年終研討會(huì)。“我們的想法是舉辦一次研討會(huì)，邀請(qǐng)研究人員參加，帶來他們的數(shù)據(jù)集，以提供給研究者。不僅介紹了他們的科學(xué)和用例，而且還讓Tapis團(tuán)隊(duì)在第一年年底之前介紹了系統(tǒng)的功能。”

TACC高級(jí)計(jì)算接口主管Co-PI Maytal Dahan表示：“我們非常高興能夠啟動(dòng)由NSF資助的新Tapis項(xiàng)目。“ Tapis將通過促進(jìn)強(qiáng)大的網(wǎng)絡(luò)基礎(chǔ)設(shè)施功能和服務(wù)的發(fā)現(xiàn)，訪問和使用來改變科學(xué)家的生產(chǎn)力。我們希望通過提供各種安全可靠的API服務(wù)來降低完成科學(xué)的復(fù)雜性并縮短產(chǎn)品上市時(shí)間?？梢栽谏a(chǎn)質(zhì)量的環(huán)境中為我們的用戶提供支持。

TACC團(tuán)隊(duì)將在項(xiàng)目的各個(gè)方面工作-開發(fā)安全內(nèi)核，流數(shù)據(jù)API和集成，質(zhì)量保證和持續(xù)集成測(cè)試，外展，培訓(xùn)和員工開發(fā)。我真的為TACC和UH的團(tuán)隊(duì)感到驕傲，我們都熱心從一開始就通過我們的早期采用者計(jì)劃與科學(xué)界合作，以創(chuàng)建對(duì)科學(xué)界產(chǎn)生積極影響的服務(wù)。”

Tapis項(xiàng)目是“持續(xù)創(chuàng)新網(wǎng)絡(luò)基礎(chǔ)設(shè)施”(CSSI)的一部分，該項(xiàng)目是由高級(jí)網(wǎng)絡(luò)基礎(chǔ)設(shè)施辦公室(OAC)牽頭的NSF跨領(lǐng)域計(jì)劃。“ CSSI支持創(chuàng)新的網(wǎng)絡(luò)基礎(chǔ)設(shè)施的發(fā)展，使研究人員社區(qū)能夠繼續(xù)并加速NSF支持的所有基礎(chǔ)科學(xué)和工程領(lǐng)域的進(jìn)步，”管理該獎(jiǎng)項(xiàng)的OAC計(jì)劃主任Stefan Robila博士說。“通過在先前的工作基礎(chǔ)上，并利用現(xiàn)有的領(lǐng)導(dǎo)力計(jì)算資源(如TACC可獲得的資源)，Tapis有助于不斷增強(qiáng)網(wǎng)絡(luò)基礎(chǔ)設(shè)施，同時(shí)降低了獲取網(wǎng)絡(luò)基礎(chǔ)設(shè)施的障礙。”