как заблокировать приложение rails от ботов?

Question

Я даже не уверен, что использую правильную терминологию, независимо от того, боты это или нет. Я не хотел использовать слово «спам», потому что у меня нет комментариев или сообщений, которые создаются / спамятся. Похоже, что кто-то делает такой же повторный запрос к моему домену, что заставило меня думать, что это был своего рода бот.

Я открыл свое первое приложение rails для публики, которая представляет собой действительно небольшую группу пользователей, <50 в настоящее время. Это было в прошлую пятницу. Сегодня у меня начались проблемы с производительностью, поэтому я посмотрел журнал и вижу тонны этих RoutingErrors </p>

ActionController::RoutingError (No route matches "/portalApp/APF/pages/business/util/whichServer.jsp" with {:method=>:get}):

Они заполняют журнал, и я предполагаю, что это вызывает замедление. Обратите внимание на .jsp в конце, и это приложение rails, поэтому в моем приложении нет таких URL-адресов, как это удаленно. Я имею в виду, что / portalApp у меня даже нет, поэтому я не знаю, откуда это.

Это размещено на Dreamhost, и я поболтал с одним из их сотрудников службы поддержки, и он предложил пару сайтов, подробно описывающих использование htaccess для блокировки вещей. Но похоже, что вам нужно знать IP или домен, с которого поступают запросы, а я нет.

Как я могу заблокировать это? Как я могу найти IP или домен из запроса? Любые другие предложения?

---

Дополнительная информация:

Посмотрев журналы доступа, похоже, что это не бот. Возможно, я неправильно читаю логи, но есть действительные URL-запросы (сгенерированные из моего приложения Flex), приходящие с того же IP. Так что теперь мне интересно, если это какой-то плагин, генерирующий запросы, но я действительно не знаю. Теперь мне интересно, можно ли заблокировать определенный URL-запрос на основе шаблона, но я полагаю, что это отдельный вопрос.

Answer 1

Старый вопрос, но для людей, которые все еще ищут альтернативы, я предлагаю проверить камень Rack-Attack Kickstarter . Позволяет не только создавать черные и белые списки, но и регулировать их.

Answer 2

Вы также можете обновить файл public / robots.txt , чтобы разрешить / запретить роботов.

http://www.robotstxt.org/wc/robots.html

Answer 3

Похоже, на этой странице есть несколько полезных советов: Здесь

Раздел о блокировке пользовательским агентом может быть тем, на что вы могли бы обратить внимание при реализации. Есть ли в любом случае вы можете получить useragent от бота из ваших журналов? Если так, ищите уникальный аспект useragent, который, вероятно, идентифицирует бота, и добавьте следующее в .htaccess, заменив соответствующие биты

BrowserMatchNoCase SpammerRobot bad_bot
Order Deny,Allow
Deny from env=bad_bot

Более подробно об этой ссылке и, конечно, если вы не можете получить идентификатор пользователя из своих журналов, тогда это будет бесполезно для вас!