Я настроил выделенные машины, которые получают запросы только от ботов Facebook.Требуется проверка на уровне приложения (диспетчерская на User-Agent), но это небольшая цена за поддержание отзывчивости на вашем основном сайте.В зависимости от вашего балансировщика нагрузки, достаточно легко настроить выделенный пул.Если вы используете облачные серверы или виртуальные машины, вы можете выбросить экземпляры за пару часов и запустить их в производство, как только позволит процесс управления изменениями.Вы также можете максимально увеличить кеширование в этом пуле, чтобы сэкономить нагрузку на внешние источники данных, сократить ведение журнала и т. Д.
У меня был один из рекомендуемых сайтов при запуске, и это была катастрофа.Тем не менее, вы можете обратиться к инженерам FB, и они на самом деле заинтересованы в помощи.Мы смогли договориться об изменении их интервала опроса.Это сокращало создание сеансов на нашем сайте до тех пор, пока мы не смогли добавить фильтр сервлетов, чтобы разрешать запросы без сеансов (мы использовали ATG Dynamo), пока мы не смогли бы выделить аппаратное обеспечение для пула, описанного выше.Вы можете сделать то же самое.
Я думаю, что любой из этих вариантов лучше, чем манипулирование вашей кодовой базой, потому что Facebook изменит свою активность сканера, не предупреждая вас.В какой-то момент такое изменение может сделать вашу "легкую" страницу бесполезной.