Единственный способ узнать наверняка - это найти страницу и сравнить новую версию со старой.Заголовок Last-Modified ненадежен, так как он может отсутствовать или может быть умышленно подделан некоторыми сайтами, которые не хотят, чтобы динамический контент был переиндексирован (по какой-либо причине).Заголовок длины содержимого также может отсутствовать, поэтому вы не обязательно можете полагаться на это.
Когда вы сравниваете содержимое страницы, вы должны решить, заинтересованы ли вы во всех изменениях - или просто в изменениях в соответствующих областях содержимого страницы, например, исключая динамические элементы, такие как меню, даты и т. Д. ...
Если вы можете сравнивать себя, вы можете просто проверить длину соответствующих документов на предмет абсолютного сходства или же извлечь соответствующие области содержимого страницы и провести сравнение текста.Для сравнения похожих страниц вы также можете использовать « sim-hash », в результате чего значения хеш-функции для похожих данных близки друг к другу (в отличие от обычного разреженного хеширования).