Как я могу вести учет / журнал посещений каждого бота на моем сайте. Я хочу знать, как часто сканеры сканируют мой веб-сайт и какие страницы индексируются или сканируются. Есть ли PHP-скрипт, который я могу использовать, чтобы узнать о посещениях Google, Yahoo и других ботов.