Я подписался на API. Его документация гласит: «Рекомендуется помещать ботов в черный список с ваших сайтов, чтобы снизить затраты на их использование».
Что это значит и как это сделать?
Вам потребуется настроить файл robots.txt, в котором содержатся инструкции о том, что такое боты, а какие нет.
См. http://www.robotstxt.org/.