Как динамически загружать данные из Scrapinghub в Wordpress?

Question

Я использую периодические пауки в Scrapy Cloud и экспортирую результаты в AWS S3 Bucket. Мне нужно динамически загружать свои таблицы Wordpress с этими результатами, и в настоящее время я использую плагин TablePress, который имеет опцию «Импорт таблиц», но позволяет обновлять таблицы только каждые 15 минут.

Можно ли каким-либо образом выполнять эти периодические обновления каждые 5 минут или лучше при изменении файла AWS S3?

Плагин Wordpress, который работает со Scrapinghub напрямую, мог бы решить и мою проблему, но я искал и не нашел ни одной.

Answer 1

От вашего Паука на ScrapingHub вы можете либо

1. Отправить каждый элемент с вашего Паука, используя item_scraped метод
2. Отправить все элементы один разВаш Паук заканчивает, используя spider_closed метод

Конечно, у вас будет API на вашем сайте для получения этих данных

Надеюсь, что это поможет

Answer 2

Возможно, вам лучше использовать канал JSON - https://wordpress.org/plugins/json-content-importer/