免費(fèi)數(shù)據(jù)集存檔可幫助研究人員快速找到大海撈針

雖然有數(shù)百個(gè)公開可用的數(shù)據(jù)集，但找到它們可能需要數(shù)月的搜索。當(dāng)發(fā)現(xiàn)潛在的來源時(shí)，他們很少為研究人員提供足夠的信息來決定該集合是否實(shí)際上包含他們需要的數(shù)據(jù)類型，而無需下載常常龐大的文件并首先對(duì)其進(jìn)行排序。

感謝加州大學(xué)河濱分校的計(jì)算機(jī)科學(xué)家，找到合適的數(shù)據(jù)集現(xiàn)在就像為網(wǎng)站添加書簽一樣簡(jiǎn)單，而且它的成本絕對(duì)沒有。

Marlan和Rosemary Bourns工程學(xué)院計(jì)算機(jī)科學(xué)助理教授艾哈邁德·埃爾達(dá)維(Ahmed Eldawy)和他的團(tuán)隊(duì)在過去三年里一直在為公共時(shí)空數(shù)據(jù)集梳理互聯(lián)網(wǎng)，研究他們的屬性，并總結(jié)每組互動(dòng)的結(jié)果。地圖向用戶顯示他們正在獲得的內(nèi)容。

“從事數(shù)據(jù)科學(xué)工作的人需要數(shù)據(jù)集，但可能會(huì)花很多時(shí)間找到它們，”Eldawy說。“我想建立一個(gè)他們可以輕松找到的檔案。”

稱為UCR時(shí)空活動(dòng)存儲(chǔ)庫或UCR STAR，該存檔作為服務(wù)提供給研究社區(qū)，通過交互式探索界面提供對(duì)大型時(shí)空數(shù)據(jù)集的輕松訪問。用戶可以搜索和過濾這些數(shù)據(jù)集，就像購(gòu)買他們的研究一樣，除了一切都是免費(fèi)的。

“地圖界面可視化數(shù)據(jù)，因此你可以看到它是否合適，”Eldawy說。“它就像是數(shù)據(jù)集的目錄。”

作為UCR STAR的核心，該地圖為數(shù)據(jù)集提供了交互式探索界面。與谷歌地圖或其他網(wǎng)絡(luò)地圖類似，用戶可以放大和縮小并平移以快速瀏覽數(shù)據(jù)分布，覆蓋范圍和準(zhǔn)確性。

選擇數(shù)據(jù)集后會(huì)顯示重要的詳細(xì)信息，例如原始主頁，原始下載源的鏈接，字節(jié)大小，記錄數(shù)，文件格式和其他有用信息。子集下載功能允許用戶快速下載給定地理區(qū)域中的數(shù)據(jù)，從而減少下載大小。他們還可以在網(wǎng)頁上嵌入自定義視圖，或通過社交媒體分享鏈接，并將其加入書簽以便日后重新訪問。

UCR STAR包含102個(gè)數(shù)據(jù)集和50億條記錄。數(shù)據(jù)集使用Da Vinci進(jìn)行映射，Da Vinci是一個(gè)基于Apache Spark的開源框架，Eldawy設(shè)計(jì)用于處理空間數(shù)據(jù)。UCR STAR網(wǎng)站最好通過桌面瀏覽器訪問，但也具有有限的移動(dòng)友好界面。