Мы реализуем озеро данных. Для загрузки корзины S3 посадочного слоя мы используем задания sqoop, которые выполняют задачу загрузки данных в корзину посадочного слоя S3. Из корзины Amazon S3 для посадочного слоя мы используем инструмент Informatica Developer для извлечения файлов / объектов и загрузки их в очищенный слой. s3 bucket path - s3: //amazon.s3.bucket/YYYYMM/File1.txt (Мы поддерживаем путь для загрузки каждого месяца). Итак, для каждой месячной загрузки мы собираемся создать папку типа структуры в очищенном слое s3 bucket. С помощью инструмента разработчика Informatica я хотел бы передать путь сегмента файла s3 и имя файла динамически, используя файл параметров для чтения и записи в s3, и таким образом путь к файлу будет автоматически создан в Amazon s3, если путь не существует в Amazon s3. Я хотел бы знать, как мы можем передавать детали динамически.
Любая идея относительно этой реализации в инструменте Informatica Developer будет принята с благодарностью.
Спасибо,
Виджей