В настоящее время я работаю над проектом, для которого некоторые части веб-сайта могут быть ограничены из-за области, в которой находится пользователь.Поэтому, когда пользователь получает доступ к странице, которую он перенаправляет в форму, которую он должен заполнить, чтобы просмотреть содержимое.
Желая, чтобы поисковые системы проиндексировали содержимое, я создаю исключения для сканеров поисковых систем, чтобы ониможет легко получить доступ к контенту.
Я выбираю некоторые поисковые системы со страницы этой , и я решил бы проверить IP-адрес сканера (который можно найти на страницеЯ связал) и на основе этого предоставления доступа.
Является ли это решение достаточно жизнеспособным?Я спрашиваю об этом, потому что я прочитал статью в официальном центральном блоге Google Webmaster, в которой рекомендуется выполнять обратный поиск DNS на боте, чтобы соответствовать его подлинности.
Я должен упомянуть, чтоэто не имеет никакого значения для безопасности.
TL; DR получить штраф, если я позволю роботу поискового агента переходить непосредственно к контенту, пока пользователь перенаправляется?Какой подход лучше для этого?(пользовательский агент, IP-адрес или обратный поиск DNS в отношении затрат / выгод)