Лучший способ запланировать || автоматизировать MarkLogi c потоков данных / пользовательских шагов - PullRequest
0 голосов
/ 29 февраля 2020

Я использую DMSDK для загрузки данных; У меня есть несколько пользовательских потоков для запуска после приема данных. Вместо того, чтобы вручную запускать потоки один за другим, каков наилучший способ организации потоков концентраторов данных MarkLogi c? Gradle, триггер или другие инструменты планирования?

Ответы [ 2 ]

1 голос
/ 02 марта 2020

Я согласен с Дейвом Касселем в том, что NiFi, или, может быть, что-то вроде MuleSoft, или, возможно, даже Camel, - это отличный способ управлять вашими потоками. Особенно если речь идет об оперативном управлении.

Чтобы ответить на другие механизмы:

  • Crontab не подключается к самому MarkLogi c. Вы должны написать сценарии или код, чтобы что-то произошло на самом деле. У вас не будет большого контроля или ведения журналов, если вы не добавите и это.
  • У нас есть отличные плагины для Gradle, которые делают работу потоков очень простой. Отлично подходит для разработки и тому подобного, но, возможно, менее подходит для планирования или оперативного управления задачами.
  • Триггеры внутри MarkLogi c реагируют только на вставку данных, поэтому вам все равно придется инициировать обновление извне.
  • Запланированные задачи внутри MarkLogi c имеют ограничения, аналогичные Crontab и Gradle. Сам по себе он мало что делает, так что вам все равно придется писать код. Он не предоставляет никаких журналов и способов оперативного управления задачами, кроме как через интерфейс администратора.
  • Пакет JAR может зависеть от того, какой пакет JAR вы на самом деле имеете в виду. Вы можете создать JAR-файл вашего ml-gradle проекта, но это не даст вам большой выгоды по сравнению с вызовом самого Gradle.

Лично я бы внимательно рассмотрел эксплуатационные требования , Подумайте, например, о необходимости получения обзора состояния, расписаний прерываний, циклов повторных попыток при сбое, встроенной регистрации и средств для отправки уведомлений, когда требуется внимание.

HTH!

1 голос
/ 29 февраля 2020

Есть множество ответов, которые сработают, конечно; я предпочитаю NiFi. Это исключает любые накладные расходы на планирование вне MarkLogi c с компромиссом, который вам понадобится для запуска NiFi.

...