Ultra Task не может получить все количество записей - PullRequest
1 голос
/ 09 января 2020

У меня есть Ultra Pipeline, который всегда работает. Мне нужна статистика о средней продолжительности выполнения конвейера с панели инструментов за последние 7 дней. Когда я пытаюсь получить эти записи с помощью API SnapLogi c из REST Get Snap, я получаю около 50 случайных записей всего за несколько дней, однако мой желаемый результат - намного большее число (500-600 выполнений).

Мой вопрос по этому поводу: происходит ли это потому, что в этом случае это сверхзадача, а не запланированная / запускаемая задача? Я пытался с последним, и в этом случае это эффективно. Трубопроводный поток выглядит примерно так:

Pipeline_Flow

REST_GET_Snap

Одно из решений I ' Мы пытались остановить экземпляр и снова вызвать его с помощью REST Post Snap, однако пока он не удался.

Pipeline_Stop

REST_GET

Mapper_Snap

REST_Post_Snap

Есть предложения?

1 Ответ

0 голосов
/ 09 января 2020

Всегда работает конвейер ULTRA, позволяющий непрерывно потреблять документы из внешних источников без увеличения задержки.

Одним из решений, которое я пробовал, является остановка экземпляра и повторный вызов его с помощью REST Однако Post Snap пока что не увенчался успехом.

Это, однако, отрицательно сказывается на цели задачи ULTRA.

Вы можете получить точные данные о времени выполнения на панели инструментов. Пожалуйста, обратитесь к следующему снимку экрана.

Execution Time

Еще одна вещь, которую вы можете получить из панели мониторинга, - это журналы для конкретного прогона ULTRA.

Чтобы отобразить следующие сведения о журналах выполнения конвейера для каждой задачи, нажмите enter image description here в столбце состояния.

Pipeline execution runtime logs

Примечание: Журналы продолжают перемещаться в резервную копию на основе количества конвейеров и размера, настроенного в свойствах snaplex.

Ссылки:


Настраиваемое ведение журнала для захвата времени

Но если вы хотите иметь время в журнале, из которого вы можете сгенерировать отчет, то вам нужно добавить его в ULTRA трубопроводная логика c (или использовать и использовать API журналирования SnapLogi c, аналогично тому, что вы сделали для включить / отключить задачу ULTRA).

У нас схожие требования, когда мы получаем сроки каждого выполнения snap и затем записываем их в файл, который мы затем можем прочитать / обработать, как и когда требуется. Это дало нам больше контроля над тем, что мы хотим регистрировать и как мы хотим, чтобы данные выглядели. Единственным недостатком является то, что он также добавляет много сложности в код.

Несколько моментов, которые следует помнить относительно этого подхода:

  • Не используйте File Writer привязать ваш конвейер ULTRA, так как вы можете потерять информацию о происхождении и вызвать сбой конвейера
  • Создать простой легкий общий конвейер, который будет вести протоколирование, а затем использовать Pipeline Execute snap in ваш конвейер ULTRA для использования этого общего конвейера
  • Не используйте повторно одно и то же выполнение конвейера журналирования
  • Передайте информацию журнала в этот конвейер в качестве параметра конвейера, а не передавайте его напрямую в open представление ввода; не оставляйте вход и выход общего конвейера открытым
  • Кроме того, убедитесь, что вы записали параметр конвейера в общий конвейер, чтобы вы могли просматривать захваченный параметр на панели мониторинга
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...