Загрузка данных: получение и декодирование файлов сообщений (.txt) в режиме реального времени. - PullRequest
Новая
       66

Загрузка данных: получение и декодирование файлов сообщений (.txt) в режиме реального времени.

0 голосов
/ 03 марта 2019

В нашем проекте есть требование читать и декодировать текстовые файлы сообщений в режиме реального времени.Файлы принимаются третьей стороной с помощью MQ Setup.Требуется извлечь файлы с MQ Server, сохранить их в нашей системе, декодировать с использованием спецификации и сохранить данные в таблице базы данных.

Это предлагаемый поток:

Файлы сообщений (.txt) -> MQ Server -> ??-> Декодирование -> Хранить в БД

Вопросы:

  1. Сторонние поставщики уже имеют настройку MQ, и они готовы отправить ее нам.Могу ли я узнать, как я могу подписаться на их систему MQ для получения файлов?Можно ли использовать SFTP для получения файлов или у меня должна быть настройка MQ на моей стороне?
  2. У нас уже есть исходный код на Python для декодирования файлов, но мы не уверены, как это сделать, чтобы завершить обработку в реальном времени, как и когда файлы переносятся на нашу сторону.

1 Ответ

0 голосов
/ 03 марта 2019
  1. Стоит ли использовать SFTP?Нет, настройте свою сторону, чтобы подписаться на сторонний канал MQ.Это необходимо для минимизации сквозной задержки.
  2. Это немного расплывчато.Покажите нам код, который вы написали до сих пор, который слушает на канале и отправляет ваш декодер.https://stackoverflow.com/help/mcve
...