Лучший способ предположить, что веб-сканер не имеет доступа к контенту на вашем сайте, - это создать файл robots.txt.См. http://robotstxt.org. Невозможно сказать роботу, чтобы он не обращался к одной части страницы
http://code.google.com/web/controlcrawlindex/docs/faq.html#h22
Если вы собираетесь использовать CSS, помните, что роботы все еще могутчитать файлы CSS!Вы можете включить файл CSS в файл robots.txt, но исключить его.
Если вы действительно должны иметь проиндексированный и неиндексированный контент на одной странице, возможно, вам следует использовать фреймы и иметь неиндексированный фрейм, указанный в файле robots.txt как не подлежащий индексированию.
Хорошо ведущие сканеры будут следовать указаниям robots.txt, например, Google, но непослушные - нет.Таким образом, нет никакой гарантии.