Вики о настройке level0.dirs.quota и alluxio.user.file.write.tier.default в Alluxio - PullRequest
Новая
       19

Вики о настройке level0.dirs.quota и alluxio.user.file.write.tier.default в Alluxio

0 голосов
/ 25 марта 2019

Я установил level0.dirs.quota = 1 ГБ, level1.dirs.quota = 10 ГБ и alluxio.user.file.write.tier.default = 1.Затем, когда я использую alluxio-fuse для записи файлов более 1G, произойдет сбой.Но если я буду использовать ./bin/alluxio fs copyFromLocal для записи файлов размером более 1 ГБ, он будет успешным.

Конфигурация выглядит следующим образом: 

alluxio.worker.tieredstore.levels=2
alluxio.worker.tieredstore.level0.alias=MEM
alluxio.worker.tieredstore.level0.dirs.path=/Volumes/ramdisk
alluxio.worker.tieredstore.level0.dirs.quota=1GB
alluxio.worker.tieredstore.level0.watermark.high.ratio=0.9
alluxio.worker.tieredstore.level0.watermark.low.ratio=0.7
alluxio.worker.tieredstore.level1.alias=HDD
alluxio.worker.tieredstore.level1.dirs.path=/tmp
alluxio.worker.tieredstore.level1.dirs.quota=10GB
alluxio.worker.tieredstore.level1.watermark.high.ratio=0.9
alluxio.worker.tieredstore.level1.watermark.low.ratio=0.7

alluxio.user.file.write.tier.default=1

Я использовал команду alluxio-fuse для повторного-mount, тогда я могу использовать alluxio-fuse для записи файлов более 1G.

Нужно ли заново монтировать после изменения конфигурации alluxio.user?

Однако, хотя я могу записывать файлы поверх1G после установки alluxio.user.file.write.tier.default = 1, чтение файлов более 1G не удастся.

спасибо,

1 Ответ

0 голосов
/ 26 марта 2019

Для вашего первого вопроса: нужно ли заново монтировать после изменения конфигурации alluxio.user? Ответ - да! Пожалуйста, перемонтируйте Alluxio-Fuse каждый раз, когда вы меняете любую пользовательскую конфигурацию alluxio.

Не могли бы вы предоставить больше информации о том, что чтение файлов более 1G не удастся? Какую версию Alluxio вы используете? Не могли бы вы присоединить ваши журналы Alluxio, если это возможно, особенно logs / fuse.log?

...