Flink: Что такое файлы в интернет-магазине и почему они продолжают заполнять каталог / tmp? - PullRequest
0 голосов
/ 25 февраля 2019

Мы запускаем Flink на отдельном кластере из пяти узлов.Каталог /tmp/ продолжает заполняться каталогами, начиная с blobstore--*.Эти каталоги очень большие (около 1 ГБ) и очень быстро заполняют пространство, а задания не выполняются с ошибкой No space left of device.Файлы в этих каталогах представляются в виде двоичного представления заданий, выполняющихся в кластере.

Что это за файлы и как мне позаботиться об их очистке, чтобы они не заполнялись / tmp / не вызывали сбой задания?

Версия Flink: 1.4.2

1 Ответ

0 голосов
/ 15 марта 2019

Файлы хранилища BLOB-объектов необходимы для распространения задания Flink в кластере.После того, как работа была завершена, они должны быть очищены.Только в случае сбоя кластера очистка не должна происходить.

В случае перезапуска кластера старые файлы хранилища больших двоичных объектов необходимо очистить с помощью задания очистки.При удалении каталогов необходимо соблюдать осторожность, чтобы не удалить каталог работающего TaskManager.Это можно узнать, просмотрев журналы запущенных TaskManager.Они должны содержать путь к каталогу хранилища BLOB-объектов.

http://apache -flink-user-mailing-list-archive.2336050.n4.nabble.com / What-are-blobstoretf-directory-td26323.html

-файл-и-почему-они-продолжают-заполняют-заполняют
...