Я делаю курсовой проект, который включает в себя создание поисковой системы. У нас есть разные команды, создающие разные аспекты продукта (сканирование веб-страниц, PageRank, поиск информации и т. Д.). Тем не менее, другие части проекта основаны на достаточном количестве просканированных веб-страниц. Мне было интересно, есть ли где-то в сети корпорация репрезентативных просканированных веб-страниц, которую мы можем использовать для раннего тестирования до того, как наша команда получит свой собственный сканер? Он не должен быть большим, вероятно, будет достаточно 1 000 000 страниц, но он должен быть несколько репрезентативным. Спасибо заранее 100