Работа не может закончить слив, потому что на устройстве не осталось места

Question

У меня потоковое задание, работающее с 26 ГБ памяти и 4 ТБ постоянного диска.

Предполагаемый размер коллекции ввода составляет 1,5 ГБ, поэтому я думаю, что места на диске должно быть достаточно.

Но на стеке драйвера есть несколько журналов, таких как

Warning: failed to write fluentd log output: write /var/log/dataflow/boot-json.log: no space left on device

[ERROR:serialization_utils.cc(302)] error writing message length: No space left on device

Failed to write position file, err: write /var/lib/agent/state/harness-boot.pos: no space left on device

И это будетпотому что работа не может быть успешно истощена.Работа будет застревать навсегда.

Кажется, что нет ничего общего с постоянным диском, кроме загрузочного диска?

Answer 1

Наконец я обнаружил, что он застрял при сливе из-за того, что данные не подтверждают схему таблицы BigQuery, в которую я хотел загрузить.Там не было четкого сообщения, хотя.Мне нужно вручную загрузить сгенерированный поток данных файла, чтобы увидеть фактическое сообщение об ошибке.

И основная причина заключается в том, что, когда я хочу записать строковое значение "null" в необнуляемый строковый столбец в таблице,каким-то образом значение будет проанализировано Beam SDK как null, а затем произойдет сбой.