數(shù)據(jù)科學(xué)已經(jīng)發(fā)展。 這2000萬個(gè)數(shù)據(jù)集就是證明。

(Er, wrong Data search tool.)

我最近最喜歡的Google搜索系列產(chǎn)品之一是數(shù)據(jù)集搜索。 是的，你聽到的是對(duì)的。 您可以像搜索圖像一樣搜索數(shù)據(jù)集!

您現(xiàn)在可以像搜索圖像一樣搜索數(shù)據(jù)集!

You can play with Dataset Search here.

數(shù)據(jù)集搜索如何評(píng)價(jià)公眾的數(shù)據(jù)素養(yǎng)

如果沒有人使用Google的垂直搜索引擎(如Google Images或Google Scholar)，它們將不會(huì)持續(xù)很長時(shí)間，因此它們的種類告訴您人們傾向于在互聯(lián)網(wǎng)上尋找什么的一些信息。 圖片，視頻和新聞不足為奇。 但是數(shù)據(jù)集? 您的提示是，不僅要為遙遠(yuǎn)的冰屋中的三位孤立的教授使用數(shù)據(jù)集。 好大 …而且越來越大。

有什么收獲? 沒有一個(gè)。 這實(shí)際上與使用Google圖片或Google學(xué)術(shù)搜索進(jìn)行搜索相同，只是針對(duì)數(shù)據(jù)集。 當(dāng)前已建立索引并可以使用超過2000萬(!)數(shù)據(jù)集……并且該索引正在快速增長。

今天，您可以輕松觸及2000萬個(gè)數(shù)據(jù)集……明天還會(huì)有更多。

現(xiàn)在您已經(jīng)知道它的存在，您可以在這里試用它，也可以繼續(xù)討論"數(shù)據(jù)集搜索"的工作原理以及它對(duì)數(shù)據(jù)科學(xué)專業(yè)和整個(gè)人類的意義。

我最近的數(shù)據(jù)集搜索會(huì)話的屏幕截圖。 早在我讀研究生時(shí)，我就會(huì)毫無顧慮地尋找有關(guān)在何處乞求訪問此類數(shù)據(jù)的線索。 (從字面上看，這是我們要做的事情：寫一封長長的電子郵件，懇求其他實(shí)驗(yàn)室回應(yīng)，通常無濟(jì)于事。請(qǐng)耐心等待新方法的簡易性。)

加速分析的一場(chǎng)革命

Analytics(分析)是數(shù)據(jù)科學(xué)的一部分，旨在迅速激發(fā)靈感。 與統(tǒng)計(jì)或機(jī)器學(xué)習(xí)不同，分析的最高優(yōu)點(diǎn)是速度。 (為安全起見，優(yōu)秀的分析人員可避免在得出新數(shù)據(jù)之前就得出結(jié)論。)

更快地訪問數(shù)據(jù)可為您提供更強(qiáng)大的分析功能。

您知道容易找到數(shù)據(jù)集時(shí)會(huì)得到什么嗎? 更快的分析! 數(shù)據(jù)集搜索代表了您所有專業(yè)分析師和數(shù)據(jù)科學(xué)家的不可思議的速度提升。 (但是，如果您有認(rèn)真對(duì)待靈感的危險(xiǎn)，請(qǐng)務(wù)必謹(jǐn)慎地采用統(tǒng)計(jì)方法進(jìn)行跟進(jìn)。)

是的，但是真正的收獲是什么?

如果您是在一個(gè)數(shù)據(jù)集非常稀有，珍貴并且經(jīng)常由教授或數(shù)據(jù)提供者策劃的世界中長大的，就像我們大多數(shù)人一樣! —您可能會(huì)出現(xiàn)一些無意識(shí)的偏見：您假設(shè)提供數(shù)據(jù)的人應(yīng)對(duì)數(shù)據(jù)質(zhì)量負(fù)責(zé)(并且可能在某處藏了一兩個(gè)博士學(xué)位)。 如果您主要是在學(xué)習(xí)或科學(xué)的背景下使用數(shù)據(jù)集，則可能會(huì)給人一種印象，即數(shù)據(jù)集在到達(dá)您之前就受到了精心的按摩。

現(xiàn)實(shí)生活中的數(shù)據(jù)科學(xué)是一個(gè)叢林，而不是您的教授策劃的神圣空間。

暫時(shí)擱置這一偏見，然后考慮另一種偏見：外行人之間數(shù)據(jù)崇拜的毒性作用。 任何傾向于用大寫" D"表示數(shù)據(jù)的人都可能會(huì)認(rèn)為，以結(jié)構(gòu)化形式打包的所有信息都是有用且真實(shí)的。 嘿，這不是魔術(shù)。 不要相信您閱讀的所有內(nèi)容，也不要相信每個(gè)數(shù)據(jù)集。 在此處了解有關(guān)數(shù)據(jù)性質(zhì)和數(shù)據(jù)崇拜的更多信息。

如果您過著大多數(shù)為您提供數(shù)據(jù)的人享有聲譽(yù)的生活，并且/或者被教導(dǎo)您崇拜數(shù)據(jù)和科學(xué)，那么您將感到震驚。 你猜怎么了! 數(shù)據(jù)集可能是一堆結(jié)構(gòu)化的垃圾。 可能會(huì)壞掉。 它可以彌補(bǔ)， 可能是60億個(gè)零。 可能什么都沒有。 就像文字一樣!

"如果是寫在書上，那一定是真的……"

說到文字："如果是寫在書上，那一定是真的……"對(duì)嗎? 錯(cuò)誤! 更糟糕的是："如果是在網(wǎng)上寫的，那一定是真的……"我看到你剛剛拉過的臉，我很喜歡。 好。 您對(duì)此表示懷疑。 你應(yīng)該。 現(xiàn)在，"如果它寫在數(shù)據(jù)集中，那一定是真的……"

A book! It must be true.

那里有很多垃圾，因?yàn)槿魏稳硕伎梢詫懰麄兿胍臇|西。 與其相信它， 相反，您需要花一點(diǎn)時(shí)間來考慮數(shù)據(jù)源。 很好，因?yàn)檫@種習(xí)慣也將使您在數(shù)據(jù)領(lǐng)域中保持安全。

如果您習(xí)慣于信任數(shù)據(jù)而不是書面數(shù)據(jù)，請(qǐng)當(dāng)心。

您可能有這種習(xí)慣，而沒有意識(shí)到。 不要將數(shù)據(jù)視為大寫字母D的縮寫。 重新定向您的街頭網(wǎng)絡(luò)習(xí)慣，即您在搜索Google圖片或整個(gè)網(wǎng)絡(luò)時(shí)經(jīng)常使用的習(xí)慣。 您知道，當(dāng)您問得好時(shí)，Google不會(huì)擁有或編輯這些貓圖片或它提供的隱形藥水配方。 (您知道那些隱形藥水是行不通的，對(duì)嗎?)您知道質(zhì)量會(huì)有所不同，并且要由您來認(rèn)真考慮一下來源，然后再相信所有閱讀內(nèi)容。 您知道互聯(lián)網(wǎng)上有各種各樣的東西，而且您已經(jīng)很容易受到欺騙。 好吧，主要是。 即使是我們最好的人，也偶爾會(huì)點(diǎn)擊那些"一個(gè)怪誕的把戲"鏈接或古怪的新聞報(bào)道。

如果您將通常的街頭互聯(lián)網(wǎng)搜索懷疑度應(yīng)用于數(shù)據(jù)集搜索，則不會(huì)有任何收獲。

像對(duì)待任何其他Internet搜索結(jié)果一樣對(duì)待Dataset Search結(jié)果。 該工具將幫助您大海撈針，但您需要仔細(xì)檢查貓所拖入物體的質(zhì)量。

但是，如果要在質(zhì)量各異的巨大可搜索的聚寶盆貓圖片和3張精美策劃的貓圖片的小相冊(cè)之間進(jìn)行選擇，我會(huì)每天選擇前者。 (嗯，我實(shí)際上會(huì)選擇這兩個(gè)，因?yàn)槲液茇澙?hellip;…您也可以。這些搜索工具沒有一夫一妻制。)

互聯(lián)網(wǎng)主要是垃圾郵件

并非所有事物都對(duì)您有好處。 也就是說，Google會(huì)竭盡全力打擊垃圾郵件并優(yōu)先考慮合法結(jié)果。 是的，人們會(huì)把垃圾數(shù)據(jù)集放到那里來吸引您的注意力，是的，我們將其排名以嘗試為您提供優(yōu)質(zhì)的服務(wù)。 就像常規(guī)搜索一樣。 但是您不應(yīng)該期望這些東西是完美的。

要使您的數(shù)據(jù)集可搜索，只需將schema.org中的元數(shù)據(jù)添加到描述數(shù)據(jù)集的每個(gè)網(wǎng)頁上。

任何人都可以做到，就像任何人都可以寫博客文章一樣。 可能是垃圾(也許此博客文章是……呃，哦)，所以請(qǐng)認(rèn)真考慮來源。

如果您要使用自由數(shù)據(jù)，則需要保持智慧。 不要相信您閱讀的所有內(nèi)容。

它是如何工作的，schema.org是什么?

schema.org的構(gòu)想由一個(gè)財(cái)團(tuán)于2011年提出：Google，Bing，Yandex，Microsoft和Yahoo。 他們厭倦了猜測(cè)已爬取網(wǎng)頁的內(nèi)容，因此他們決定創(chuàng)建一個(gè)通用詞匯表，供提供者用來告訴他們什么。 該詞匯表已嵌入HTML中，以指示哪些位描述了事件，地址，配方等。 它是一個(gè)描述不同類型信息的小模式(因此得名!)。 當(dāng)您選擇將schema.org添加到頁面并告訴它頁面包含數(shù)據(jù)集時(shí)，該數(shù)據(jù)集將有資格顯示在"數(shù)據(jù)集搜索"結(jié)果中。

數(shù)據(jù)提供商使用schema.org告訴我們他們的頁面上有一個(gè)數(shù)據(jù)集，并描述了一些有關(guān)它的元數(shù)據(jù)。

這不是Google特有的魔法; 這是任何人都可以貢獻(xiàn)的開放社區(qū)標(biāo)準(zhǔn)。 許多公司已經(jīng)在后臺(tái)使用了多年。 Google專有的功能是您可以使用"數(shù)據(jù)集搜索"搜索這些數(shù)據(jù)集的新功能。 我們讓數(shù)據(jù)提供商使用schema.org告訴我們他們的頁面上有一個(gè)數(shù)據(jù)集，并描述一些有關(guān)它的元數(shù)據(jù)。 數(shù)據(jù)集搜索與常規(guī)搜索非常相似，但是結(jié)果僅限于聲稱擁有數(shù)據(jù)集的頁面。 簡單實(shí)用。

如何參與共享數(shù)據(jù)

當(dāng)數(shù)據(jù)僅來自負(fù)責(zé)精心策劃每個(gè)人的少數(shù)大型提供商(例如政府和大學(xué))時(shí)，較小的參與者就沒有共享它們的途徑。

想象一下這種情況：一群高中女生正在從事課外機(jī)器人項(xiàng)目。 他們正在收集大量數(shù)據(jù)，這些數(shù)據(jù)可能對(duì)具有相似愛好的人非常有用。 他們甚至愿意分享它(他們多么友好)。 他們已經(jīng)在高中網(wǎng)站上添加了指向該網(wǎng)站的鏈接。 恰好它們的數(shù)據(jù)恰好是幫助您進(jìn)行原型制作所需的。 現(xiàn)在怎么辦?

如果他們的數(shù)據(jù)集不可搜索，那么您將永遠(yuǎn)找不到。 如果必須由策展人(如政府)托管他們的數(shù)據(jù)以便訪問，則會(huì)被告知要排隊(duì)……而且他們可能永遠(yuǎn)也不會(huì)出現(xiàn)在前列。 那些花費(fèi)大量資源進(jìn)行大量策展的提供者只有有限的時(shí)間和注意力集中在優(yōu)先資源上。 結(jié)果如何? 您永遠(yuǎn)不會(huì)知道錯(cuò)過了什么。

這就是為什么我覺得整個(gè)數(shù)據(jù)集搜索范式非常漂亮的原因。 共享數(shù)據(jù)(無需中間人告訴您迷路)意味著即使人們有小眾口味，也可以找到并提供豐富的資源……或者使高中網(wǎng)站晦澀難懂。

參與共享可搜索數(shù)據(jù)：

• 您需要數(shù)據(jù)。
• 您需要通過schema.org指示您有數(shù)據(jù)。 (您可以自己執(zhí)行此操作，也可以將其放入Zenodo這樣的存儲(chǔ)庫中，為您執(zhí)行此操作。)

其他

希望同時(shí)滿足這兩個(gè)條件的意愿因地而異，這并不使您感到驚訝。 政府是率先索引其數(shù)據(jù)集的政府之一，因此，他們傾向于收集的數(shù)據(jù)集(天氣數(shù)據(jù)，有人嗎?)是您瘋狂進(jìn)食的最佳人選，而稀疏收集的專有數(shù)據(jù)將很少出現(xiàn)。 也就是說，每天都在添加更多數(shù)據(jù)，搜索為免費(fèi)和付費(fèi)數(shù)據(jù)提供了方便。 (有點(diǎn)像Google圖片中帶有水印的專有圖片。)您可以根據(jù)自己的意愿選擇要經(jīng)過的門，以及收費(fèi)是否值得。

人類的大局

諸如數(shù)據(jù)集搜索之類的龐大用戶群，是人類在數(shù)據(jù)科學(xué)和數(shù)據(jù)素養(yǎng)方面的發(fā)展的象征。 我們正在成長為一個(gè)物種，并且正在擴(kuò)展我們部署感官的方式，以及與信息進(jìn)行交流的方式。

數(shù)據(jù)分析正在成為每個(gè)人的游戲。

過去，我們?cè)?jīng)在Internet上打開單個(gè)頁面的能力給人留下了深刻的印象，然后在瀏覽器中打開50個(gè)選項(xiàng)卡(每個(gè)數(shù)據(jù)點(diǎn)一個(gè))的能力給人留下了深刻的印象。 現(xiàn)在我們渴望更多。 我們希望數(shù)據(jù)集可以使用為這項(xiàng)工作而構(gòu)建的代碼工具(例如Python和R)快速定型和匯總。 精通數(shù)據(jù)的社區(qū)現(xiàn)在已達(dá)到臨界規(guī)模。 我們中足夠的人具有理解數(shù)據(jù)的技能，而我們不再滿足于圖片覆蓋的書面頁面。 (您現(xiàn)在正在凝視的那種。哈。)

素養(yǎng)的演變

要使用當(dāng)前正在閱讀的資源(例如您正在閱讀的資源)中的信息，您需要特殊的讀寫能力。 您的思維需要能夠?qū)⒆约喊谖淖种車?這是您理所當(dāng)然的技能。 如果只有很少的人掌握這項(xiàng)技術(shù)，那么此博客文章將不存在。 Google可能也不存在。

同樣，數(shù)據(jù)集搜索代表著數(shù)據(jù)素養(yǎng)民主化的上升趨勢(shì)。 如果說山峰和猶豫不決的話，那么整個(gè)開發(fā)過程就是一種攀登頂峰的方式，"處理數(shù)據(jù)不再是一種完全利基的技能!"它不再局限于少數(shù)抄寫員將象形文字雕刻成粘土片。 (哦，等等，那是寫作。盡管是相同的想法。)

在線數(shù)據(jù)集提供了一種新的自我表達(dá)工具，它遵循了與互聯(lián)網(wǎng)其他部分相同的規(guī)則。

數(shù)據(jù)集搜索可幫助您在聊天中找到寶石。

數(shù)據(jù)集正在成為一種廣泛的交流形式-一種美麗的新語言，我們?cè)S多人都能說流利，而且每天都有很多人在學(xué)習(xí)。 對(duì)于那些從小就開始講數(shù)據(jù)的人來說，能夠以我們的語言獲得搜索結(jié)果真是令人欣慰。

這就是為什么我對(duì)數(shù)據(jù)集搜索的感受直截了當(dāng)?shù)脑颉?/p>