Компания, в которой я работаю, недавно установила промежуточный сервер Apache , который использует модуль mod_access Apache для предотвращения нежелательного доступа к нашей промежуточной среде.
Одним из недостатков этого является то, что Facebook, пытаясь очистить страницу для метатегов с открытым графом, выдает сообщение об ошибке со следующей ошибкой.
Ошибка очистки страницы Неверный код ответа
Что и следовало ожидать, поскольку скребок сталкивается с диалоговым окном аутентификации.
Мой вопрос сейчас: существует ли определенный диапазон IP-адресов, к которому мы можем разрешить доступ к веб-сайту?
Мы рассмотрели возможность разрешения определенных заголовков, но это кажется немного склонным к манипулированию заголовками для обхода уровня безопасности.
В журнале доступа действительно отображался один IP-адрес, но я предполагаю, что Facebook использует несколько серверов для очистки всех этих страниц, и я помню, что читал, что эти IP-адреса имеют тенденцию меняться со временем.
Есть идеи?