Коллега упомянул, что класс spark dataframeWriter записывает во временное расположение в s3, а затем копирует в нужное расположение s3 после завершения.Я хотел понять это поведение больше, но не могу найти исходный код, описывающий это поведение.Я искал здесь:
https://github.com/apache/spark/blob/c0632cec04e5b0f3fb3c3f27c21a2d3f3fbb4f7e/sql/core/src/main/scala/org/apache/spark/sql/DataFrameWriter.scala
Описано ли в этом посте поведение, которое выполняет spark при записи в s3?
Если поведение является тем, что должно происходить, было бы полезно понять ссылку на местоположение (я), где существует этот путь к коду, и описание того, почему это поведение используется по умолчанию (и скрыто от конечного пользователя).