Я хотел бы создать список URL-адресов для домена, но я бы предпочел сэкономить пропускную способность, не сканируя домен самостоятельно. Так есть ли способ использовать существующие данные для сканирования?
Единственное решение, о котором я подумал, - это поиск по сайту Yahoo , который позволит мне загрузить первые 1000 результатов в формате TSV. Однако, чтобы получить все записи, мне нужно было бы просмотреть результаты поиска. Google также поддерживает поиск по сайту, но не предлагает простой способ загрузки данных.
Можете ли вы придумать лучший способ работы с большинством (если не со всеми) веб-сайтами?
спасибо,
Ричард