После сканирования сайта объявлений, как проверить, не истек ли срок действия списков?

Question

Я заинтересован в создании веб-сканера для объявлений. Проблема с просканированными объявлениями заключается в том, что срок их действия истекает. Когда пользователь выполняет поиск на моем сайте, есть ли способ проверить «на лету», истек ли срок действия списков?

Как правило, если на моей странице отображается 20 записей, как проверить, не истек ли это? Есть ли способ проверить "на лету"? Скрыть эту запись, а не показывать ее пользователю? Возможно, скрипт .js, который checksDeletedRecords()?

http://carsforsale.com/used_cars_for_sale/2004_Honda_Civic_136820531

Answer 1

Вы можете написать что-то, что будет периодически проверять список (через задание cron) и видеть, истек ли срок его действия.

Если у просматриваемых страниц есть какой-то индикатор, который сообщит вам, когда истечет срок его действия.(«Срок действия списка истекает 8 июля 2011 г.»), ваш сканер может проанализировать его и затем сохранить в вашей БД.Тогда нужно отфильтровать просроченные с твоего конца.Большинство классифицированных сайтов имеют ограничение по времени в своих списках (либо указано в листинге, либо в качестве политики сайта) ... поэтому этот подход будет вашим лучшим выбором.

РЕДАКТИРОВАТЬ: И как всегда, когда вы сканируете, соблюдайтеrobots.txt

сайта

Answer 2

Я делал что-то подобное раньше. Моим решением было добавить свойство LastFound в списки. Каждый раз, когда вы сканируете сайт и находите одно и то же объявление, обновляйте флаг LastFound.

Если вы затем сканируете сайт каждый день, вы можете предположить, что срок действия всех списков, не найденных в последний день, истек. Очевидно, что если вы сканируете сайт с более короткими интервалами, ваши данные могут быть более актуальными.

Это может не соответствовать вашему требованию "на лету", но решение может заключаться в том, чтобы проверять, существует ли оригинальная страница, каждый раз, когда вы хотите найти ее. Это было бы ужасно неэффективно, и я бы не стал его рекомендовать.