Рассказ:
Мой сайт предварительно генерирует страницы на основе предоставленных пользователем данных, иногда этот кэш необходимо очищать, когда это происходит, это может привести к уничтожению суперкомпьютера , если только я не контролирую количество генерируемой статистики сразу.
Проблема:
Теперь появляются поисковые роботы, которые постоянно попадают на сайт (из-за огромного количества страниц, его довольно постоянных, которые сканируют роботы поисковых систем). Проблема здесь в том, что они будут использовать все мои «генерирующие» слоты, а у реальных пользователей останется страница с надписью «бла бла, подождите, пожалуйста».
Возможное решение:
Могу ли я в целом вернуть 503 боту, не давая мне отрицательного рейтинга за нестабильный сайт?
Или кто-то придумал какое-то другое решение?