Нет, это не касается robots.txt
Вопреки другим ответам здесь, facebookexternalhit ведет себя как самый злой из сканеров. Получил ли он URL-адреса, которые он запрашивает при сканировании или от похожих кнопок, не имеет большого значения, когда он проходит через каждый из них с безумной скоростью.
Иногда мы получаем несколько сотен обращений в секунду, поскольку они проходят почти через каждый URL нашего сайта. Это убивает наши серверы каждый раз. Самое смешное, что когда это происходит, мы видим, что робот Google замедляется и ждет, пока что-то успокоится, прежде чем снова медленно расти. facebookexternalhit, с другой стороны, просто продолжает колотить наши серверы, зачастую сильнее, чем первоначальный бой, который нас убил.
Нам нужно запустить гораздо более мощные серверы, чем нам нужно для нашего трафика, просто из-за facebookexternalhit. Мы провели множество поисков и не можем найти способ их замедлить.
Как это хороший пользовательский опыт, Facebook?