То, как Google или Yahoo делают это, требует от веб-мастера создания файла со специальным загадочным именем (длина файла может быть 0), который генерируется Google / Yahoo. Может быть что-то вроде "dsaa6fd4sgfdsf324gd.html". Таким образом, вы генерируете такую уникальную (имя) строку для каждого веб-сайта, чтобы ее проверить, сохранить ее в БД, а затем вы идете и пытаетесь получить ее с этого сайта. Если GET завершается успешно, вы можете установить «valid = true» в БД для этого сайта и имени файла.
Чтобы ответить на 1-часовой вопрос, нам нужно знать, какую технологию вы используете. Существует много опций для запуска синхронизированных фоновых заданий из веб-приложения. Обычно вы записываете детали задания в базу данных, и у вас есть фоновый демон, периодически проверяющий БД и выполняющий все отложенные задания. Вы можете сказать ему (этому демону) выполнить задание через час, чтобы проверить, существует ли файл (см. Выше). Ну, в любом случае, вы должны делать это так, что нет смысла одновременно указывать веб-мастеру, что нужно создать этот файл и сразу же проверить его:)