Файл сохраняется с .pending, пока задание flink bucketingsink отменяется с точкой сохранения - PullRequest
0 голосов
/ 28 марта 2019

Мы используем BucketingSink для записи сжатого файла (разделенного "\ n") в hdfs. Однако, как только мы вручную отменим задание, последняя строка файла будет обрезана. Если мы отменим работу с точкой сохранения, все в порядке, но файл останется в состоянии .pending. Как сделать, чтобы эти файлы заканчивали переименовывать? Большое спасибо!

1 Ответ

0 голосов
/ 02 апреля 2019

Если файлы .pending были в списке контрольных точек, вам просто нужно перезапустить задание, тогда .pending будет переименовано в окончательное имя для фиксации.Если файлов .pending не было в списке контрольных точек, то есть файлы .pending могут быть отброшены, Flink не будет ничего с ним делать, игнорировать их - хорошая идея.

Попробуйте прочитать В этом блоге , затем читая исходный код BucketingSink , вы узнаете, почему и как это сделать.

...