Когда я пытаюсь загрузить файлы размером около 20 ГБ в HDFS, они обычно загружаются примерно до 12-14 ГБ, затем они прекращают загрузку, и я получаю кучу этих предупреждений через командную строку
"INFO hdfs.DataStreamer: Slow ReadProcessor read fields for block BP-222805046-10.66.4.100-1587360338928:blk_1073743783_2960 took 62414ms (threshold=30000ms); ack: seqno: 226662 reply: SUCCESS downstreamAckTimeNanos: 0 flag: 0, targets:"
Однако , если я пытаюсь загрузить файлы примерно 5-6 раз, они иногда работают после 4-й или 5-й попытки. Я полагаю, что если я изменю некоторые параметры хранения узла данных, я смогу добиться последовательной загрузки без проблем, но я не знаю, какие параметры нужно изменить в конфигурациях oop. Спасибо!
Редактировать: это происходит, когда я помещаю файл в HDFS через программу python, которая использует вызов подпроцесса для помещения файла. Однако, даже если я вызываю его напрямую из командной строки, я все равно сталкиваюсь с та же проблема.