Задание приема Informatica BDE выполняется в течение 10+ часов, а после уничтожения и повторного запуска - в течение 3 часов. - PullRequest
Новая
       12

Задание приема Informatica BDE выполняется в течение 10+ часов, а после уничтожения и повторного запуска - в течение 3 часов.

0 голосов
/ 05 декабря 2018

о моем профиле - Я выполняю поддержку L3 для некоторых заданий приема информации BDE, которые выполняются в нашем кластере.наша цель - помочь командам приложений встретиться с SLA.Мы поддерживаем потоки заданий, которые выполняются поверх слоя hadoop (куста)

Постановка проблемы - Мы наблюдали, что в некоторые дни задания приема BDE informatica работают мучительно медленно, а в другие дни они завершаютсяих цикл за 3 часа.если работа занимает так много времени, мы обычно убиваем и перезапускаем, что нам помогает.но это не помогает нам устранить основную причину.

Ограничения нашего профиля - К сожалению, у меня нет кода приложения или инструмента informatica, но я должен подключиться к разработкекоманда и задать соответствующие вопросы, чтобы мы могли сузить основную причину.

Следующие шаги -

  • Можете ли вы поделиться несколькими сценариями, которые могут вызвать эту задержку.
  • Какие инструменты я могу использовать, чтобы проверить причину задержки.
  • Несколько возможных вопросов, которые я могу задать команде разработчиков:
    1. - проанализированные таблицыправильно перед запуском потока заданий.
    2. есть ли существенные изменения в объеме данных (это маловероятно, так как задание выполняется быстро при повторном запуске)

Любые указатели, чтобы помочь подойти к этому вопросу будут оценены.Я знаю, что это очень широкий вопрос, и он просит помощи в подходе, а не в решении какой-либо конкретной проблемы, но это только начало, чтобы помочь решить эту проблему навсегда или подходить к ней рационально.

1 Ответ

0 голосов
/ 13 декабря 2018

Вам необходимо проверить журналы Informatica, чтобы убедиться, что он висит на одном и том же шаге каждый раз.

Если это не так, вы запускаете задания в одно и то же время каждый день ... скажем, полночь иобычно завершается к 3 часам утра ... но иногда он длится до 10 часов утра, где вы убиваете и перезапускаете?

Если это так, я предлагаю вам определить базовую активность носителя при минимальной загрузке, во время быстрого запуска в течение 3 часов и во время10 часовая загрузка.Есть ли разница в спросе?

Звучит как раздор, но это вызывает конфликт.Процесс может ждать вечно, а не возобновлять, когда требуемый ресурс доступен.Поговорите с администраторами баз данных.

...