Каков наилучший способ сделать это?
положить его в iframe.
установить этот раздел после загрузки с помощью JavaScript?
спасибо
Это относится к Yahoo:
http://searchengineland.com/yahoo-supports-new-robots-nocontent-tag-to-block-indexing-within-a-page-11120
Загрузка контента с помощью Javascript также предотвратит это.
iframe, о котором я не думаю, так как он может видеть источник и в конечном итоге сканировать его (если только файл робота не определяет этот файл как uncrawelable или метатег (и только для пауков, которые соответствуют robots.txt)
Это поможет? Стандарт исключения для роботов