Как лучше всего попасть в черный список поисковых систем?

Question

Я создал веб-приложение для сообщества фотографий на PHP / MySQL, используя CodeIgniter в качестве фреймворка.Весь контент общедоступен, поэтому поисковые системы регулярно заходят.Это именно то, что я хочу, но у него есть два нежелательных побочных эффекта:

• Каждый визит создает сеанс в моей таблице сеансов.
• Каждый визит поисковой системы на страницу с фотографией увеличивает счетчик просмотров

Что касается второй проблемы, я переписываю вызов моего скрипта счетчика просмотров, который будет вызываться из JavaScript.только, это должно предотвратить увеличение числа от поисковых систем, верно?

Что касается таблицы сессий, я думал очистить ее после факта, используя cron, чтобы не влиять на производительность.Я записываю строку IP и пользовательского агента в таблицу сеансов, поэтому мне кажется, что лучше всего использовать черный список?Если да, то как лучше всего подойти к нему?Есть ли простой / многоразовый способ определить, что сеанс от поисковой системы?

Answer 1

Почему вы беспокоитесь о любой из этих ситуаций?Лучшая стратегия для работы со сканерами - обращаться с ними как с любым другим пользователем.

Сеансы, созданные поисковыми системами, ничем не отличаются от любых других сессий.Все они должны быть собраны мусором, так как вы не можете предположить, что каждый пользователь собирается нажать кнопку «Выйти», когда они покидают ваш сайт.Работайте с ними так же, как с любым просроченным сеансом.В любом случае, вы должны сделать это, так зачем тратить дополнительное время на то, чтобы по-разному относиться к поисковым системам?

Что же касается проблемы, связанной с увеличением счетчиков просмотров в поисковых системах?В любом случае, «количество просмотров» является пропущенным;вы действительно говорите людям, сколько раз была запрошена страница.Вы не должны гарантировать, что пара глазных яблок действительно видит страницу, и на самом деле нет разумного способа сделать это.Для каждого бота, которого вы «черный список», будет еще дюжина одноразовых копий вашего контента и не показывать дружественные строки пользовательского агента.

Answer 2

• Определение основных поисковых систем ( Подсказка )
• Проверка посетителей по вашему предварительно скомпилированному списку (см. Выше)
• Не запускать счетчик сеансов / увеличение при совпадении

Редактировать:

Список агентов пользователей

Answer 3

Используйте файл robots.txt , чтобы точно определить, что сканерам поисковых систем разрешено видеть и делать