Сценарий: Я новичок в AWS и Informatica Developer.Я читаю файлы из Amazon S3 с помощью Informatica Developer и делаю маскирование данных в определенных столбцах.Я читаю каждую запись из файла как одну строку (Чтение записи в один порт).Итак, я разделяю запись заголовка и все остальные записи данных.После разделения я завершаю маскирование данных для определенных столбцов в записях данных, затем делаю запись Union of Header и записи данных, чтобы записать их обратно в Amazon S3.Я использую Spark Engine для запуска сопоставлений.
Проблема: Проблема, с которой я сейчас сталкиваюсь, заключается в том, что при чтении и записи данных обратно в Amazon S3используя Informatica Developer.Заголовок и данные разделены и записаны как два разных файла, хотя я объединяю заголовок и записи данных в отображении.Я работаю над записью файла в Unix и перемещением его в Amazon S3.Я знаю без API, я не могу Concat файлы напрямую в Amazon S3.
Я хотел бы получить это как один файл в качестве результата.Кто-нибудь сталкивался с этой проблемой.Не могли бы вы посоветовать какой-нибудь способ обойти эту проблему?