Как указывает комментарий Майкла П., зависит от вашей цели.
Моя компания недавно хотела ответить на вопрос о сторонних инструментах, используемых на ведущих веб-сайтах. Я использовал Alexa в качестве отправной точки для поиска самых популярных (по трафику) веб-сайтов и создал анализатор, который может ответить на конкретный вопрос, заданный моей компанией. Если вы начинаете с такого списка, вы можете запрограммировать свой веб-сканер, чтобы переходить по ссылкам, с которыми он встречается, для расширения ваших знаний о сайтах в Интернете.
Надеюсь, это поможет вам подумать о проблеме.