Получение сообщений RSS старше тех, которые включены в фид

Question

При создании программы чтения RSS вы загружаете документ в формате XML, на который указывает ссылка на канал RSS, и можете анализировать его вручную или с помощью функциональности в пространстве имен SyndicationFeed.

Так что, если мы возьмем Скотта ГатриНапример, в блоге вы загружаете RSS-документ здесь и анализируете его.Моя проблема заключается в том, что этот документ содержит только 15 элементов, но он ведет блог уже несколько лет.

Существует ли стандартный или установленный способ получения старых сообщений, не включенных в документ RSS-канала?Или вам нужно найти базовый адрес для постов в блоге, а затем проанализировать страницы сайта, чтобы получить их?Как избежать пропусков в блогах большого объема?

Answer 1

С RSS / Atom вы не можете запрашивать более старые статьи.

Я создал службу архивирования RSS (https://app.pub.center). Все наши данные бесплатны для использования через REST. Мы берем деньги за push-уведомления.

PubCenter ежедневно опрашивает свой каталог RSS-каналов и кэширует статьи. Затем вы можете получить эти статьи обратно в хронологическом порядке. Например:

Страница 1 Атлантики https://pub.center/feed/02702624d8a4c825dde21af94e9169773454e0c3/articles?limit=10&page=1

Страница 2 Атлантики https://pub.center/feed/02702624d8a4c825dde21af94e9169773454e0c3/articles?limit=10&page=2

Answer 2

В ответах на Как мне выбрать все старые элементы в RSS-ленте? уже упоминалось, фид может не предоставлять архивные данные, но исторические элементы могут быть доступны из другого источника.

* 1004У Wayback Machine Archive.org есть API для доступа к историческому контенту, включая RSS-каналы (если его загрузили его боты).Я создал веб-инструмент Backfeed , который использует этот API для регенерации канала, содержащего объединенные исторические элементы.Если вы хотите подробно обсудить реализацию, пожалуйста, свяжитесь с нами.