Веб-страницы для анализа почти дублированных страниц

Question

Я пытаюсь построить Near Duplicate Analyzer для веб-страниц. Оттуда я могу получить похожие веб-страницы для ввода в эксперимент. (Сканирование поисковой системы по определенному запросу не показалось хорошим вариантом)

Answer 1

Вот несколько идей:

• Пресс-релизы с разных сайтов
• Новостные статьи на разных сайтах
• Википедия в текущей и более старых версиях (изменения - изменения)
• Справочные страницы Unix на разных серверах
• Интернет-RFC в различных форматах: текст, XML или HTML

Вот несколько примеров URL для RFC:

• http://datatracker.ietf.org/doc/rfc2049/
• http://www.rfc -editor.org / гк / rfc2049.txt
• http://www.rfc -editor.org / гк / pdfrfc / rfc2049.txt.pdf
• http://tools.ietf.org/html/rfc2049 (HTML)