Проверка доменов с использованием WHOIS в массовом порядке - PullRequest
1 голос
/ 31 июля 2010

Я создал приложение на C #, которое находит фиктивные домены, оканчивающиеся на j .DE, а затем другая часть приложения проверяет их, существуют ли они на самом деле, число фиктивных составляет (40 ^ 63).Я могу успешно проверить их по WHOIS, и все в порядке.

Вопрос в том, что проверка одного домена занимает секунду, и я боюсь, сколько времени займет фильтрация всех (40 ^ 63) доменов., вся моя жизнь?

У вас есть альтернатива?

Умайр

1 Ответ

4 голосов
/ 31 июля 2010

Это не вопрос программирования. Если вы соответствуете требованиям для загрузки массовых копий баз данных whois, то вы можете просто загрузить всю базу данных в ОЗУ в некотором формате быстрого просмотра, может быть, B + Tree, разработанном с учетом уровней кэширования, и вы будете быстро работать поиск.

Серверы whois задерживают поиск, чтобы такие люди, как вы, не запускали большое количество автоматических поисков.

Это вариация на тему начала ваших усилий по оптимизации путем выбора лучшего алгоритма для работы.

...