Где я могу найти большой набор данных

Question

Я ищу огромные наборы текстовых классификаций, чтобы применить то, что я изучаю в курсе машинного обучения. Я ищу данные шириной и данных . До сих пор я находил данные от 200 МБ до 500 МБ. Пожалуйста, есть ли репозиторий / URL, где я могу найти набор данных объемом до 2 ГБ или более.

Answer 1

Вы можете найти хороший список некоторых общедоступных наборов данных здесь: https://github.com/awesomedata/awesome-public-datasets

В качестве примера рассмотрим набор данных CommonCrawl https://commoncrawl.org/, который был просканирован с 25 миллиардов веб-страниц. ,Индекс со списком архивов можно найти здесь: http://index.commoncrawl.org/