полный нуб здесь для Talend / Data Integration в целом. Сделали простые вещи, такие как загрузка CSV в таблицу Oracle с помощью Talend. Ниже приведено требование и в настоящее время ищите некоторые идеи для начала, пожалуйста
Запрос: Создайте папку в Unix Среде, в которой исходное приложение выталкивает файлы .csv daily@5AM. Они названы ниже
Имя файла_20200301.csv Имя файла_20200302.csv Имя файла_20200303.csv. , и т. д. до текущего дня.
Мне нужно создать задание Talend, чтобы каждое утро анализировать эти csv-файлы и загружать их в таблицу oracle, где моя команда BI / Reporting может использовать данные. Эта таблица будет использоваться в качестве таблицы поиска, и источник гарантирует, что не будет отправлять дублирующиеся записи в CSV. Файлы обычно имеют около 250-300 строк в день. План состоит в том, чтобы следить, и если в будущем количество строк увеличится, то, возможно, стоит подумать об ограничении временных рамок даты до смены 12 месяцев. В настоящее время у меня есть файлы с 1 марта 2020 года по сегодняшний день. Схема / таблица назначения Oracle всегда одна и та же.
Инструменты: данные календаря Fabri c 7.1
Я могу думать о следующих шагах, но не знаю, с чего начать на шаге 1 ) и шаг2) 1) Подключитесь к Unix серверу / общему местоположению. У меня есть данные сервера / имя пользователя / пароль, но какой компонент использовать в метаданных? 2) Разобрать файлы в указанном выше месте. Должен ли я использовать TfileList? Откуда берется TFileInputDelimited? 3) Возможно, используйте Tmap для очистки / изменения типов данных перед использованием TDBOutput для pu sh в oracle. Я использовал эти компоненты в прошлом, просто нужно выяснить, как вставить в таблицу oracle вместо усечения / загрузки.
Любые мысли / другие интересные способы сделать это, пожалуйста. Я иду по правильному пути?