Talend: вставить файл в путь, который не существует с помощью Spark Framework - PullRequest
0 голосов
/ 24 апреля 2020

Я новичок ie в Talend, и я изо всех сил сталкиваюсь с проблемой с пакетными заданиями Big Data, конкретно теми, которые используют Spark Framework. Я сомневаюсь в следующем: мне нужно перенести некоторые файлы для тестирования в одном кластере, используя для этого TS3Connection в моем сегменте. Чтобы организовать все файлы, было бы желательно добавить к пути назначения идентификатор, такой как ··· "... / aaaaMMdd / nameOfFile" ···, но tFileOutputDelimited в фрейме Spark не имеет опции по умолчанию создания каталога, если он не существует (который доступен в Стандартных заданиях). Есть ли способ сделать это с помощью Spark Framework? Если это невозможно, могу ли я автоматически создать каталоги с помощью стандартного задания и выполнить его с помощью tRunJob в моем пакетном задании больших данных, где я буду извлекать данные? Заранее спасибо. С уважением, Елена.

...