Удаление загруженных файлов из Google, когда срок действия элемента истекает

Question

Мы используем платную службу Google CSE (система пользовательского поиска) для индексации контента на нашем веб-сайте. Сайт состоит в основном из страниц PHP, которые собраны с включаемыми файлами, но есть некоторые динамические страницы, которые извлекают информацию из базы данных в единый шаблон страницы (например, новые выпуски). Проблема, с которой мы столкнулись, заключается в том, что я могу установить дату истечения срока действия для содержимого в базе данных, так что, скажем, «id = 2» вызовет уведомление «Срок действия этого содержимого истек». Однако если к идентификатору 2 был прикреплен загруженный файл PDF, файл PDF остается в поисковом индексе.

Я знаю, что мог бы написать сценарий очистки и запустить cron, который просматривает базу данных, находит просроченный контент, проверяет, были ли какие-либо загруженные файлы прикреплены, и переименовывает или удаляет их, но должно быть лучшее решение. (Надеюсь).

Пожалуйста, дайте мне знать, если вы сталкивались с этим в прошлом, и что вы предлагаете.

Спасибо, D.

Answer 1

В итоге мы связали сценарий проверки со сценарием загрузки, который после завершения текущей загрузки старые файлы были «не связаны» и записи БД были удалены.

Для нас это работает, потому что это своего рода ситуация «добавить один / удалить один», когда мы хотим, чтобы заданное количество элементов отображалось в порядке очередности.

Answer 2

К сожалению, сейчас нет никакого способа дать вам прямой ответ: мы не знаем, как ваши PDF-файлы «прикрепляются» к вашим страницам или как структурирована ваша БД.

Лучшим решением было бы создать файл robots.txt, который блокирует URL-адреса для определенных файлов PDF, которые вы хотите удалить. Google удалит их из индекса при следующем проходе (обычно через час).

http://www.robotstxt.org/