У меня есть назначение, чтобы сделать данные доступными, используя предварительно назначенный URL-адрес S3. Мне нужно сканировать много данных в базе данных / S3 и генерировать отчеты по электронной почте. Я планирую использовать pyspark для сканирования данных и сохранять отчет по электронной почте на S3.
После записи данных на S3 я могу использовать boto3 для обхода этих ключей S3 и их назначения. Но я хотел бы избежать дополнительного шага и проверить, есть ли spark.write.options(), который я могу использовать для их предисловия при записи моего информационного кадра в S3.
Спасибо, Хуссейн Бора