Входной поток таблицы чайника - PullRequest
0 голосов
/ 28 сентября 2018

Когда я запускаю преобразование в Kettle, у которого есть Ввод таблицы, если я получаю доступ к списку процессов моей базы данных, я вижу более одного процесса, выполняющегося с MySQL моего шага ввода таблицы.

Так что мойВопрос в том, использует ли он чайник для выполнения шага или что-то еще?

1 Ответ

0 голосов
/ 29 сентября 2018

Kettle является языком программирования потока данных .Это означает, что каждый шаг преобразования выполняется в своем собственном потоке, независимо от других.

Каждый поток ожидает данные от входных шагов, обрабатывает их и доставляет на выходные шаги.,Данные сгруппированы в пакеты по 1000 строк для оптимизации скорости.

Такая гибкость одновременной обработки всех шагов имеет много преимуществ и объясняет некоторые странные в других отношениях действия, например, тот факт, что количество шагов в таблице истории выполнения (внизу) часто кратно 1000и проблема с автоблокировкой: когда вы вводите таблицу, которую вы также усекаете, в выходную таблицу, тогда чайник вводит автоблокировку, каждый шаг ожидает завершения другого.

...