Я копирую файл из RDS в кластер EMR.Преобразование данных в Java-приложении Spark и помещение их в папку S3, находящуюся под другой учетной записью.
Я использую роль предположения для доступа и передачи файла в S3 другой учетной записи.Этот шаг выполняется как часть начальной загрузки EMR и, следовательно, копирования или искровой отправки файла.
Если я копирую файл как часть начальной загрузки EMR и использую входной файл как локальный файл и помещаю его в S3 (Файл скопированко всем узлам) - я могу завершить это успешно.
Если я копирую файл как шаг в EMR, я получаю файл только в главном узле, поэтому я использовал Hadoop, чтобы поместить файл в HDFS, такчто каждый узел может получить к нему доступ.- в этом случае я могу обработать файл, но загрузка S3 завершается неудачно с отказом в доступе
Использует ли hadoop для копирования файла в HDFS и обработки искры, принимая файлы из области HDFS, изменяет разрешение, которое предполагалось ранеекопирование HDFS / Spark выполнить?