При попытке записи набора данных в раздел в таблице кустов я вижу периодически возникающие исключения.
Caused by: org.apache.hadoop.fs.FileAlreadyExistsException: /user/hive/warehouse/devl_fr9.db/fr9_ftdelivery_cpy_2_4d8eebd3_9691_47ce_8acc_b2a5123dabf6/.spark-staging-d996755c-eb81-4362-a393-31e8387104f0/date_id=20180604/part-00000-d996755c-eb81-4362-a393-31e8387104f0.c000.snappy.parquet for client 10.56.219.20 already exists
Если я проверяю HDFS, соответствующий путь не существует.Я могу только предположить, что это какое-то состояние гонки в отношении временных файлов промежуточного уровня.Я использую Spark 2.3