Лучший метод для Pu sh Данные из Scrapy to. Net Применение - PullRequest
Новая
       82

Лучший метод для Pu sh Данные из Scrapy to. Net Применение

0 голосов
/ 29 января 2020

Лучший метод / Идея для извлечения sh очищенных данных от сканеров Scrapy до. Net Приложение

Настройка:

  1. На сервере Debian работает сервер копирования
  2. Windows на сервере запущен. Net Основной сервер приложений

Я думаю о добавлении RESTful API в мою. Net Базовую службу и данные элементов pu sh там из Scrapy на каждом событии "завершено" для сканера.

По сути, я хочу иметь вид "pu sh-уведомлений" с сервера Scrapy на мое приложение. Net, когда новый элемент данных очищается.

Как лучше всего обратиться к внешнему API в scrapy?

1 Ответ

1 голос
/ 02 февраля 2020

У вас есть несколько вариантов здесь. Передача данных - действительно самое простое решение, хотя обязательно авторизуйте запросы, которые вы делаете к своему API. Вы можете использовать сигнал item_scraped , чтобы вызывать ваши запросы для каждого очищенного элемента. Имейте в виду, что в случае сотен ненужных элементов, это может создать большую нагрузку на ваш API, чего вам следует избегать. Вы можете подождать, пока скребок закончится, и затем вызвать свой API с помощью одного запроса. Некоторые альтернативные решения:

  • Поместите очищенные элементы в вашу базу данных и опросите базу данных на предмет новых элементов в другом приложении
  • Используйте очередь сообщений, такую ​​как RabbitMQ, AWS SQS или Kafka
...