Перемещение файлов CSV в talend ETL автоматически

Question

Я ищу способ автоматически применять процесс ETL к файлам CSV, как только новые файлы добавляются в папку. Как я могу использовать средство просмотра файлов на инструменте talend ETL?

Спасибо

Answer 1

Вы можете использовать компонент tWaitForFile для сканирования каталога, и если в нем есть файлы с форматом, указанным в компоненте, он загружается автоматически. Перед этим вам нужно иметь логику для перемещения загруженных файлов в отдельный каталог архива, иначе те же файлы могут быть загружены снова.

Спасибо

Answer 2

У вас есть tFileProperties компонент в Talend. Этот компонент имеет схему по умолчанию, например,

Схема tFileProperties

В приведенной выше схеме mtime: - это отметка времени, указывающая, когда файл был последний раз изменен. получить максимальное значение mtime и сохранить в одной глобальной переменной.

Реализация логики получения новых файлов зависит от нового файла mtime и старого файла mtime.

Надеюсь, это будет полезно.