Как регулировать DataStage - PullRequest
       15

Как регулировать DataStage

1 голос
/ 20 февраля 2011

Я работаю над проектом, в котором мы запускаем несколько последовательностей DataStage, которые могут выполняться параллельно, в частности, одна из них работает плохо и требует много ресурсов, что влияет на общую среду.Инициатива по настройке производительности находится в стадии реализации, но на это потребуется время.

Тем временем я надеялся, что мы сможем ограничить DataStage, чтобы ограничить ресурсы, которые могли бы использоваться этим конкретным заданием / последовательностью - однако я лично не имел опытаконкретно с DataStage.

Может кто-нибудь прокомментировать, если эта возможность существует в DataStage (я полагаю, v8.5), и указать мне в направлении некоторых дополнительных подробностей.

Во-вторых, я знаю, что мыможет на газ в зависимости от пользователя (я думаю, что это связано с AIX 'ulimit', но не уверен).Легко / возможно ли запускать разные задания / последовательности для разных пользователей?

Ответы [ 3 ]

1 голос
/ 16 сентября 2012

В этом типе ситуаций ресурсы для конкретной работы могут быть ограничены указанием количества узлов и ресурсов в файле конфигурации.Возможно в 8.5, и вы можете найти что-то на www.datastagetips.com

1 голос
/ 20 июля 2014

Revolution_In_Progress верно.

Datastage PX имеет понятие файла конфигурации. Этот файл может быть указан для всех выполняемых вами заданий или может быть переопределен для каждого задания. Файл конфигурации можно использовать для ограничения физических ресурсов, связанных с заданием.

В этом случае, если у вас есть файл конфигурации с 4 узлами для большинства ваших заданий, вы можете написать файл конфигурации с 2 узлами для задания с проблемой производительности. Таким образом, вы получите минимальное количество параллелизма (без последовательной последовательности) и будете использовать минимальное количество ресурсов.

http://pic.dhe.ibm.com/infocenter/iisinfsv/v8r1/index.jsp?topic=/com.ibm.swg.im.iis.ds.parjob.tut.doc/module5/lesson5.1exploringtheconfigurationfile.html

0 голосов
/ 12 апреля 2011

Последовательность представляет собой набор отдельных заданий.

In most cases, jobs in a sequence can be rearranged to run serially.  Please check the organisation of the sequence and do a critical path analyis to remove the jobs that need not run in parallel to critical jobs.
...