Стратегия загрузки набора файлов в Talend

Question

Я хочу знать, какая стратегия лучше всего подходит для решения следующей проблемы в Talend:

• Мне нужно загрузить данные из набора файлов с разделителями, которые хранятся в каталоге с такими именами, как (SAMPLE1.DAT, SAMPLE2.DAT, ..., SAMPLEX.DAT)
• Целью будет таблица в базе данных MySQL
• Я должен загрузить все данные сразу, потому что после этой задачи мне нужно работать со всеми записями в одной таблице

Я немного запутался, потому что не знаю, возможно ли это в Talend. Я видел компонент tFileInputDelimited, но не нашел способа его решить.

Спасибо

Answer 1

Чтобы прочитать несколько файлов из одного каталога, вы должны использовать компонент tFileList.Позволяет указать каталог и шаблон имени файла.Все файлы в каталоге, соответствующие шаблону, будут обрабатываться один за другим.

Вам необходимо использовать ссылку «Итерация» из компонента tFileList на те компоненты, которые описывают, что вы хотите делать с каждым файлом.В вашем случае вы должны начать с компонента tFileInputDelimited (прочитать файл) и подключить его основной выход к компоненту tMysqlOutput.Компонент MySQL по умолчанию просто добавляет данные в существующую таблицу, чтобы получить желаемый результат.

В компоненте tFileInputDelimited вы не будете использовать фиксированное имя файла, а переменное имя файлакоторый устанавливается компонентом tFileList для каждой итерации (так сказать, вашей переменной цикла).Имя этой переменной цикла можно увидеть в виде «структуры» в студии, обычно в левом нижнем углу.

Answer 2

Вы должны использовать компоненты tFileInputDelimited в tMap (необязательно) в tmysqlOutput

Шаг 1: настроить некоторые компоненты, как это, за исключением того, что вы будете использовать ввод файла с разделителями:

Шаг 2: настроить параметры компонента для файла с разделителями, нажать диск для мастера:

Шаг 3: настроить базу данныхщелкнув правой кнопкой мыши Db Connection под метаданными, затем следуя мастеру:

Шаг 4: Щелкните правой кнопкой мыши по каждому компоненту и выберите Row> Main>, перетащите на следующий шаг в потоке.

Шаг 5: Откройте tMap и сопоставьте столбцы из схемы файла со схемой базы данных.

Шаг 6: Запустите задание, оноДолжен работать, если вы следовали всем указаниям мастера, если есть ошибки, просто наведите курсор на красный компонент, и он обычно описывает ошибки довольно хорошо.По мере выполнения задания вы увидите, сколько записей было передано.

Шаг 7: после того, как вы сделали это, создайте вывод tfiledelimited с той же схемой, что и для вводащелкните правой кнопкой мыши на входе, выберите «Строка»> «Отклонить» и перетащите его на новый выход с разделителями, именно туда и будут отправлены записи, отклоненные tmap.