機(jī)器學(xué)習(xí)領(lǐng)域里有哪些開(kāi)放數(shù)據(jù)集?Gengo 近日發(fā)布了一份高質(zhì)量免費(fèi)數(shù)據(jù)集列表，其搜索范圍不僅包含內(nèi)容廣泛(如 Kaggle)，也包括高度特化的(如自動(dòng)駕駛汽車專用數(shù)據(jù)集)數(shù)據(jù)集種類。

[[233150]]

首先，在選擇數(shù)據(jù)集時(shí)要記住幾個(gè)重要標(biāo)準(zhǔn)：

• 數(shù)據(jù)集不能是混亂的，因?yàn)槟悴幌ＭㄙM(fèi)大量時(shí)間整理數(shù)據(jù)。
• 數(shù)據(jù)集不應(yīng)該有過(guò)多的行或者列，這樣才能容易處理。
• 數(shù)據(jù)越干凈越好——清理大型數(shù)據(jù)集可能會(huì)非常耗時(shí)。
• 該數(shù)據(jù)集可以用于回答一些有趣的問(wèn)題。

這樣的話，讓我們看看能找到點(diǎn)什么?

一、查找數(shù)據(jù)集

1. Kaggle：一個(gè)數(shù)據(jù)科學(xué)競(jìng)賽網(wǎng)站，其中包含大量外部貢獻(xiàn)的有趣數(shù)據(jù)集。你可以在它長(zhǎng)長(zhǎng)的列表中(https://www.kaggle.com/datasets)找到各種小眾數(shù)據(jù)集，從拉面的評(píng)分、籃球數(shù)據(jù)，到西雅圖的寵物牌照。

2. UCI Machine Learning Repository：它是網(wǎng)絡(luò)中最古老的數(shù)據(jù)集源之一，是尋找各種有趣數(shù)據(jù)集的第一選擇。在這里，盡管數(shù)據(jù)集都是用戶自行貢獻(xiàn)的，但清潔程度仍然很高。此外，你可以直接從 UCI Machine Learning Repository 上下載數(shù)據(jù)，無(wú)需注冊(cè)。

二、通用數(shù)據(jù)集

公共政府?dāng)?shù)據(jù)集

[[233151]]

3. Data.gov：這個(gè)網(wǎng)站可以從多個(gè)美國(guó)政府機(jī)構(gòu)下載數(shù)據(jù)，從政府預(yù)算到學(xué)校成績(jī)。不過(guò)要注意：其中的大部分?jǐn)?shù)據(jù)需要進(jìn)一步研究。

鏈接：https://www.data.gov/

4. Food Environment Atlas：包含有關(guān)本地食物選擇如何影響美國(guó)飲食習(xí)慣的數(shù)據(jù)。

鏈接：https://catalog.data.gov/dataset/food-environment-atlas-f4a22

5. School system finances：美國(guó)學(xué)校系統(tǒng)財(cái)務(wù)狀況調(diào)查。

鏈接：https://catalog.data.gov/dataset/annual-survey-of-school-system-finances

6. Chronic disease data：美國(guó)各地慢性病指標(biāo)數(shù)據(jù)。

鏈接：https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9

7. The US National Center for Education Statistics：美國(guó)和世界各地教育機(jī)構(gòu)和教育人口統(tǒng)計(jì)數(shù)據(jù)。

鏈接：https://nces.ed.gov/

8. The UK Data Centre：英國(guó)最大的社會(huì)、經(jīng)濟(jì)和人口數(shù)據(jù)收集。

鏈接：https://www.ukdataservice.ac.uk/

9. Data USA：美國(guó)公共數(shù)據(jù)的全面可視化。

鏈接：http://datausa.io/

金融類

10. Quandl：很好的財(cái)經(jīng)數(shù)據(jù)來(lái)源——有助于建立預(yù)測(cè)經(jīng)濟(jì)指標(biāo)或股票價(jià)格的模型。

鏈接：https://www.quandl.com/

11. World Bank Open Data：涵蓋人口統(tǒng)計(jì)和世界各地大量經(jīng)濟(jì)和發(fā)展指標(biāo)的數(shù)據(jù)集。

鏈接：https://data.worldbank.org/

12. IMF Data：國(guó)際貨幣基金組織公布有關(guān)國(guó)際金融、債務(wù)利率、外匯儲(chǔ)備、商品價(jià)格和投資的數(shù)據(jù)。

鏈接：https://www.imf.org/en/Data

13. Financial Times Market Data：世界金融市場(chǎng)的最新信息，包括股票價(jià)格指數(shù)、商品和外匯。

鏈接：https://markets.ft.com/data/

14. Google Trends：觀察和分析有關(guān)互聯(lián)網(wǎng)搜索活動(dòng)和世界各地新聞故事趨勢(shì)的數(shù)據(jù)。

鏈接：http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0

15. AmericanEconomic Association (AEA)：尋找美國(guó)宏觀經(jīng)濟(jì)數(shù)據(jù)的來(lái)源。

鏈接：https://www.aeaweb.org/resources/data/us-macro-regional

三、機(jī)器學(xué)習(xí)數(shù)據(jù)集

圖像

[[233152]]

16. Labelme：注釋圖像的大數(shù)據(jù)集。

鏈接：http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php

17. ImageNet：著名的 ImageNet，由斯坦福大學(xué)教授李飛飛等人發(fā)起，它是面向新算法的真實(shí)圖像數(shù)據(jù)集。根據(jù) WordNet 層次結(jié)構(gòu)來(lái)組織，其中層次結(jié)構(gòu)的每個(gè)節(jié)點(diǎn)都由成百上千個(gè)圖像來(lái)描述。

鏈接：http://image-net.org/

18. LSUN：場(chǎng)景理解和許多輔助任務(wù)(房間布局估計(jì)、顯著性預(yù)測(cè)等)。

鏈接：http://lsun.cs.princeton.edu/2016/

19. MS COCO：ImageNet 之外另一個(gè)常用的圖像數(shù)據(jù)集，包含通用圖像理解和注釋。

鏈接：http://cocodataset.org/

20. COIL100：100 個(gè)不同的物體在 360°旋轉(zhuǎn)中以每個(gè)角度成像。

鏈接：http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php

21. Visual Genome：非常詳細(xì)的視覺(jué)知識(shí)庫(kù)，配有約 100K 個(gè)圖像的注釋。

鏈接：http://visualgenome.org/

22. Google's Open Images：Creative Commons 下的 900 萬(wàn)個(gè)圖片的網(wǎng)址集合，「已經(jīng)標(biāo)注了跨越 6000 多個(gè)類別的標(biāo)簽」。

鏈接：https://research.googleblog.com/2016/09/introducing-open-images-dataset.html

23. Labelled Faces in the Wild：13000 張貼有標(biāo)簽的人臉圖像，用于開(kāi)發(fā)涉及人臉識(shí)別的應(yīng)用。

鏈接：http://vis-www.cs.umass.edu/lfw/

24. Stanford Dogs Dataset：包含 20580 個(gè)圖像和 120 個(gè)不同品種的狗類別。

鏈接：http://vision.stanford.edu/aditya86/ImageNetDogs/

25. Indoor Scene Recognition：非常具體的數(shù)據(jù)集，適用于大多數(shù)場(chǎng)景識(shí)別模型，因?yàn)楹笳咴凇竿獠俊贡憩F(xiàn)更好。包含 67 個(gè)室內(nèi)類別，總共 15620 個(gè)圖像。

鏈接：http://web.mit.edu/torralba/www/indoor.html

情感分析

26. Multidomain Sentiment analysis dataset：有點(diǎn)舊的一個(gè)數(shù)據(jù)集，以亞馬遜的產(chǎn)品評(píng)論為特色。

鏈接：http://www.cs.jhu.edu/~mdredze/datasets/sentiment/

27. IMDB reviews：用于二進(jìn)制情感分類的較舊的、相對(duì)較小的數(shù)據(jù)集，具有 25000 個(gè)電影評(píng)論。

鏈接：http://ai.stanford.edu/~amaas/data/sentiment/

28. Stanford Sentiment Treebank：帶有情感注釋的標(biāo)準(zhǔn)情感數(shù)據(jù)集。

鏈接：https://nlp.stanford.edu/sentiment/code.html

29. Sentiment140：一個(gè)流行的數(shù)據(jù)集，使用 16 萬(wàn)條預(yù)先刪除表情符號(hào)的推文

鏈接：http://help.sentiment140.com/for-students/

30. Twitter US Airline Sentiment：2015 年 2 月以來(lái)美國(guó)航空公司的推特?cái)?shù)據(jù)，分為正面、負(fù)面和中性。

鏈接：https://www.kaggle.com/crowdflower/twitter-airline-sentiment

自然語(yǔ)言處理

31. Enron Dataset：Enron 公司高層管理人員的電子郵件數(shù)據(jù)，整理成文件夾。

鏈接：https://www.cs.cmu.edu/~./enron/

32. Amazon Reviews：包含來(lái)自亞馬遜長(zhǎng)達(dá) 18 年的約 3500 萬(wàn)條評(píng)論。數(shù)據(jù)包括產(chǎn)品和用戶信息、評(píng)級(jí)和明文審查。

鏈接：https://snap.stanford.edu/data/web-Amazon.html

33. Google Books Ngrams：Google 書籍中的詞匯集合。

鏈接：https://aws.amazon.com/cn/datasets/google-books-ngrams/

34. Blogger Corpus：從 blogger . com 收集的 681288 篇博客文章。每個(gè)博客至少包含 200 個(gè)常用英語(yǔ)單詞。

鏈接：http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm

35. Wikipedia Links data：維基百科全文。數(shù)據(jù)集包含 400 多萬(wàn)篇文章中的近 19 億字。你可以根據(jù)單詞、短語(yǔ)或段落本身的一部分進(jìn)行搜索。

鏈接：https://code.google.com/p/wiki-links/downloads/list

36. Gutenberg eBooks List：古騰堡計(jì)劃電子書注釋清單。

鏈接：http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs

37. Hansards text chunks of Canadian Parliament：加拿大第 36 屆國(guó)會(huì)記錄 130 萬(wàn)對(duì)文本。

鏈接：https://www.isi.edu/natural-language/download/hansard/

38. Jeopardy：機(jī)智問(wèn)答節(jié)目 Jeopardy 中存檔的 20 多萬(wàn)個(gè)問(wèn)題。

鏈接：https://www.reddit.com/r/datasets/comments/1uyd0t/200000jeopardyquestionsinajsonfile/

39. SMS Spam Collection in English：由 5574 條英文短信垃圾郵件組成的數(shù)據(jù)集

鏈接：http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/

40. Yelp Reviews：Yelp 發(fā)布的開(kāi)放數(shù)據(jù)集包含 500 多萬(wàn)條評(píng)論。

鏈接：https://www.yelp.com/dataset

41. UCI's Spambase：大型垃圾郵件數(shù)據(jù)集，可用于垃圾郵件過(guò)濾。

鏈接：https://archive.ics.uci.edu/ml/datasets/Spamb (https://archive.ics.uci.edu/ml/datasets/Spambase)

自動(dòng)駕駛

[[233153]]

42. Berkeley DeepDrive BDD100k：目前最大的自動(dòng)駕駛?cè)斯ぶ悄軘?shù)據(jù)集。包含 100000 多段視頻，內(nèi)容涉及一天中不同時(shí)間和天氣條件下 1100 多小時(shí)的駕駛體驗(yàn)。注釋圖像來(lái)自紐約和舊金山地區(qū)。

鏈接：http://bdd-data.berkeley.edu/

43. Baidu Apolloscapes：百度 Apollo 計(jì)劃開(kāi)放的大規(guī)模自動(dòng)駕駛數(shù)據(jù)集。它定義了 26 個(gè)不同語(yǔ)義項(xiàng)目，如汽車、自行車、行人、建筑物、路燈等。

鏈接：http://apolloscape.auto/

44. Comma.ai：7 小時(shí)以上的公路行駛體驗(yàn)。詳細(xì)信息包括車速、加速度、轉(zhuǎn)向角和 GPS 坐標(biāo)。

鏈接：https://archive.org/details/comma-dataset

45. Oxford's Robotic Car：一年內(nèi)在英國(guó)牛津同一條路線重復(fù) 100 多次的行駛。數(shù)據(jù)集捕捉天氣、交通和行人的不同組合，以及建筑和道路工程等長(zhǎng)期變化。

鏈接：http://robotcar-dataset.robots.ox.ac.uk/

46. Cityscape Dataset：記錄 50 個(gè)不同城市街道場(chǎng)景的大型數(shù)據(jù)集。

鏈接：https://www.cityscapes-dataset.com/

47. CSSAD Dataset：該數(shù)據(jù)集可用于自主車輛的感知和導(dǎo)航。數(shù)據(jù)集在發(fā)達(dá)國(guó)家的道路上出現(xiàn)嚴(yán)重偏差。

鏈接：http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset

48. KUL Belgium Traffic Sign Dataset：比利時(shí)佛蘭德區(qū)數(shù)以千計(jì)截然不同的超過(guò) 10000 個(gè)的交通標(biāo)志標(biāo)注。

鏈接：http://www.vision.ee.ethz.ch/~timofter/traffic_signs/

49. MIT AGE Lab：在 AgeLab 收集的 1000 多個(gè)小時(shí)的多傳感器驅(qū)動(dòng)數(shù)據(jù)集樣本。

鏈接：http://lexfridman.com/carsync/

50. LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets：此數(shù)據(jù)集包括交通標(biāo)志、車輛檢測(cè)、交通燈和軌跡模式。

鏈接：http://cvrr.ucsd.edu/LISA/datasets.html

原文鏈接：https://gengo.ai/articles/the-50-best-free-datasets-for-machine-learning/

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)文章，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文