Я хотел бы знать методологию, с помощью которой поисковая система обрабатывает страницы с дублированным контентом.
Я обычно определяю, кто ищет пауков, является ли этот контент оригинальным или дублированным.
Эта ссылка может быть полезна повторно: google http://www.mattcutts.com/blog/duplicate-content-question/