Я пытаюсь разобрать только индексную страницу каждого домена в Интернете.Единственная альтернатива, которую я могу придумать, которая дала бы несколько приемлемые результаты, - это общее сканирование в Интернете, чтобы идентифицировать каждый уникальный домен в сети.
Вместо этого я хотел бы иметь возможность просто перебирать список всех доменных имен в Интернете.Существует ли публичный (или частный, но не невероятно дорогой) дамп базы данных?
Смежный вопрос, который может ответить на этот вопрос: возможно ли разместить собственный DNS-сервер, не запрашивая другие DNS-серверы?
Я полагаю, что циклически проходить все возможные комбинации ipv4 также возможно, ноэто будет менее целевым, чем набор всех зарегистрированных доменов.