У меня большая работа (с данными), я записал вывод в hdfs.Вывод файла паркета не является пошаговым.Кластер позже (я думаю) потерял исполнителя, не выполнив задание.
Это вывод, который я вижу:
part-00004-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
part-00024-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
part-00051-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
part-00057-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
part-00064-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
...
Это данные, которые я ожидал:
part-00001-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
part-00002-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
part-00003-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
part-00004-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
part-00005-762ce553-134d-4b3f-a2f8-4291baebfdb7-c000.snappy.parquet
...
Почему не является частичным?Я потерял файлы?