Используют ли сканеры / боты кредиты API Карт? - PullRequest
0 голосов
/ 03 сентября 2018

Поскольку API Карт Google изменилось на "Кредиты", мой вопрос: Используют ли сканеры / боты (из поисковых систем или сторожевых псов, например, «восходящие тренды») кредиты API Карт?

Если так, есть ли возможность «исключить» их, как в Google-Analytics?

Я бы хотел избежать больших затрат на "ничто".

Спасибо заранее Tobi

Ответы [ 3 ]

0 голосов
/ 05 марта 2019

Мой опыт показывает, что ДА, запросы к API Карт действительно создают транзакцию, которая подлежит оплате, даже когда бот или сканер заходит на страницу. Я тоже должен был внимательно посмотреть на это, когда Google перешел на кредитную систему за 200 долларов, когда был отменен метод бесплатной квоты. Мой сайт делает около 3000 запросов карт в день. Однако Google Analytics показывает, что мои просмотры страниц в день, требующие запроса карты, составляют всего 700! Чтобы избежать этого дорого мне стоило, я смог перейти на использование Embed Maps, которые не имеют ограничений и являются бесплатными.

Анализ моего журнала доступа к серверу показал, что на самом деле большинство просмотров страниц происходит со сканеров и ботов. Это согласуется с отчетами, которые я видел, в том числе с сообщением, что 52% посещений веб-сайта совершены сканерами и ботами . На моем сайте процент сканирования / бота приближается к 75%. Это потому, что у меня около 50 000 страниц. Человеческий трафик концентрируется на небольшом проценте популярных страниц, в то время как сканеры / боты посещают их все.

Ваш второй вопрос спрашивает, есть ли способ исключить ботов, как это предусмотрено в Google Analytics. Нет, это не предусмотрено в качестве опции в API Карт. Вы можете обнаружить присутствие бота в вашем коде и подавить запрос API, как в этом PHP Stop Bot решении . Это элементарное начало их фильтрации. Его можно улучшить, используя детектор бота / гусеничного типа: https://github.com/JayBizzle/Crawler-Detect

Я бы отметил, что есть хорошие и плохие боты. Вы наверняка хотите, чтобы содержание вашей страницы индексировалось Google и Bing с картами. Не исключайте вслепую всех ботов / сканеров.

Мне очень нравится это в проекте, который требует платных запросов Map и Places API. Я мог бы использовать сервис, предоставляемый https://51degrees.com/ для обнаружения ботов. У них есть бесплатные и платные решения, направленные на обнаружение устройств. В процессе их API идентифицируют человека или нет!

Удачи.

0 голосов
/ 23 мая 2019

Файл robots.txt API Google Карт JavaScript изменился. См:

http://maps.googleapis.com/robots.txt

Сейчас:

User-agent: AdsBot-Google
Allow: /maps/api/js?
Disallow: /maps/api/js/
Disallow: /maps/api/place/js/
Disallow: /maps/api/staticmap?
Disallow: /maps/api/streetview?
Disallow: /maps/api/streetview/

User-agent: *
Allow: /maps/api/js?
Disallow: /maps/api/js/
Disallow: /maps/api/place/js/
Disallow: /maps/api/staticmap?
Disallow: /maps/api/streetview?
Disallow: /maps/api/streetview/

Так я думаю, звонки на карты / API / JS? разрешено будет вносить вклад в квоту API.

0 голосов
/ 05 сентября 2018

Чтобы получить ответ на свой вопрос, могу предложить взглянуть на файл robots.txt Google Maps JavaScript API

http://maps.googleapis.com/robots.txt

В настоящее время действуют следующие правила

User-agent: *
Disallow: /maps/api/js/AuthenticationService.Authenticate
Disallow: /maps/api/js/DirectionsService.Route
Disallow: /maps/api/js/DistanceMatrixService.GetDistanceMatrix
Disallow: /maps/api/js/ElevationService.GetElevationForLine
Disallow: /maps/api/js/GeocodeService.Search
Disallow: /maps/api/js/QuotaService.RecordEvent

Согласно этому файлу служба квот отключена для сканеров, поэтому они не должны использовать вашу квоту.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...