谷歌上線“新型冠狀病毒公共數(shù)據(jù)集”,可免費(fèi)使用到9月15日
疫情防控,科技公司一直在行動(dòng)。
在全球疫情蔓延的情況下,3月31日,谷歌啟動(dòng)了一項(xiàng)名為“COVID-19 Public Datasets(新型冠狀病毒公共數(shù)據(jù)集)”的項(xiàng)目,托管一個(gè)與疫情相關(guān)的公共數(shù)據(jù)資料庫,并免費(fèi)向外界開放,用戶可以自由訪問,以及自由分析其中的數(shù)據(jù)信息。
“COVID-19 Public Datasets”是什么?
據(jù)項(xiàng)目官方解釋,“COVID-19 Public Datasets”中的數(shù)據(jù),囊括了JHU CSSE(約翰·霍普金斯大學(xué)系統(tǒng)科學(xué)與工程中心)數(shù)據(jù)集、世界銀行的全球健康數(shù)據(jù)和OpenStreetMap數(shù)據(jù),它們都被存儲(chǔ)在了Google Cloud 上,并帶有“COVID-19 ”標(biāo)簽,研究人員可以免費(fèi)訪問和查詢,并通過BigQuery ML服務(wù)(一個(gè)完全托管的數(shù)據(jù)倉庫)直接在內(nèi)部使用這些數(shù)據(jù)訓(xùn)練高級(jí)機(jī)器學(xué)習(xí)模型,直至2020年9月15日。
谷歌方面表示,“COVID-19 Public Datasets”的啟動(dòng)是為了更好的為‘以教育和研究為目的’的工作者提供賦能服務(wù),我們不會(huì)加入或管理PHI(一個(gè)致病菌的數(shù)據(jù)庫)或PII(個(gè)人驗(yàn)證信息)數(shù)據(jù),希望盡最大努力阻止疫情蔓延。
不過需要注意的是,如果用戶要將“COVID-19 Public Datasets”和其它非新冠病毒數(shù)據(jù)集結(jié)合使用,那么BigQuery Sandbox將以字節(jié)為計(jì),在每月的免費(fèi)額僅有10GB存儲(chǔ)空間和1TB查詢空間之外,超出部分則按量收費(fèi)。
疫情之下,開放數(shù)據(jù)集意味著什么?
數(shù)據(jù)統(tǒng)計(jì)顯示,截至到昨日下午2點(diǎn),全球COVID-19病毒確診感染人數(shù)已超72萬人,死亡人數(shù)達(dá)3.4萬人。
但與此同時(shí),正因數(shù)據(jù)量龐大、分散,研究人員面臨著極高強(qiáng)度的數(shù)據(jù)分析工作。除此之外,數(shù)據(jù)信息的不完整和部分不公開,也在一定程度上讓大眾對(duì)疫情了解不夠全面。也因此,開放可獲取、完整、細(xì)顆粒、及時(shí)、可機(jī)讀、結(jié)構(gòu)化數(shù)據(jù)尤為重要。
此前,為加強(qiáng)全球疫情防控聯(lián)動(dòng),多個(gè)科技界、學(xué)術(shù)界機(jī)構(gòu)便聯(lián)合推出了一個(gè)公開數(shù)據(jù)集“CORD-19”,其中涵蓋了截至3月13日之前的近3萬篇新型冠狀病毒相關(guān)論文,以及針對(duì)文本進(jìn)行優(yōu)化的文本處理工具包SciSpacy、在科學(xué)文本上進(jìn)行預(yù)訓(xùn)練的BERT模型SciBERT、開放研究語料庫和API等。
而針對(duì)谷歌的“COVID-19 Public Datasets”數(shù)據(jù)集,Descartes Labs的工程主管Sam Skillman評(píng)論稱,“谷歌在BigQuery中開放并提供COVID-19數(shù)據(jù)將極大的推動(dòng)研究人員進(jìn)行數(shù)據(jù)分析,特別是免費(fèi)查詢服務(wù)的推出,會(huì)吸引更多人參與到這一項(xiàng)目中來,這對(duì)全球數(shù)據(jù)共享、提升數(shù)據(jù)分析能力、普及病毒信息非常有幫助。”