Система отслеживания изменений в записях whois - PullRequest
Новая
       2

Система отслеживания изменений в записях whois

1 голос
/ 29 июля 2010

Каков наилучший механизм хранения (с точки зрения используемой базы данных и системы для хранения всех записей) для системы, созданной для отслеживания изменений записей whois?Программа будет запускаться один раз в день, и необходимо следить за тем, что было предыдущим значением и каково новое значение.

Предложения по базе данных и мысли о том, как хранить различные записи / поля, чтобы данныене дублируется / не дублируется

(добавлено) Мои мысли об одном механизме хранения данных

Пример случая, показывающего продажу одного домена "sample.com" от personA персонеB 1 /1/2010 

Table_DomainNames
DomainId | DomainName
1           example.com
2           sample.com

Table_ChangeTrack
DomainId | DateTime | RegistrarId | RegistrantId | (others)
2           1/1/2009           1              1
2           1/1/2010           2              2

Table_Registrars
RegistrarId | RegistrarName
1             GoDaddy
2             1&1

Table_Registrants
RegistrantId | RegistrantName
1              PersonA
2              PersonB

Все таблицы «только для добавления».Имеет ли эта модель смысл?Table_ChangeTrack должен быть «добавлен» только тогда, когда есть какие-либо изменения в ЛЮБОМ отслеживаемом поле.

Есть ли способ сделать это более эффективным / более узким с точки зрения размера ??

Ответы [ 3 ]

2 голосов
/ 29 июля 2010

Первичные данные - это наличие или изменения в записях whois. Это говорит о том, что ваша основная таблица будет: 

<id, domain, effective_date, detail_id>

, где detail_id указывает на фактические данные whois, вероятно, нормализовало себя: 

<detail_id, registrar_id, admin_id, tech_id, ...>

Но учтите, что большинство регистраторов считают информацию своей собственностью (независимо от того, есть она или нет) и имеют такие предупреждения, как:

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ: Вы не авторизованы получить доступ или запросить нашу базу данных Whois с помощью электронных процессы, которые являются большими и автоматизировано за исключением разумно необходимо зарегистрировать доменные имена или изменить существующие регистрации ...

От которого вы можете ожидать, что вас отрежут, если вы слишком много прочитаете их базы данных.

0 голосов
/ 29 июля 2010

вы можете написать vbscript в файле Excel, чтобы выйти и запросить веб-страницу (в данном случае, конкретный URL-адрес 'whois' для конкретного сайта), а затем сохранить результаты обратно на лист в Excel.

0 голосов
/ 29 июля 2010

Вы можете

  • сохранить контрольную сумму нормализованной формы полей данных записи whois для сравнения.
  • сохранить исходную и текущую версию данных (возможно, в сжатом виде), если требуется.
  • сохранение различий каждого обнаруженного изменения (возможно, в сжатом виде), если требуется.

Это очень похоже на работу систем инкрементного резервного копирования.Может быть, вы можете получить дальнейшее вдохновение оттуда.

...