лучшая производительность, много чтений из одного файла или одно чтение из многих файлов? - PullRequest
0 голосов
/ 06 июня 2019

У меня около 80 ТБ данных, хранящихся в 360 файлах на стандартной файловой системе netapp.Я больше ничего не знаю о файловой системе, но если есть вопросы, которые могут помочь, пожалуйста, дайте мне знать, и я найду здесь кого-нибудь, у кого есть ответ.

Мы перегружаем файловую систему, выполняя слишком многоПараллельно читает эти данные на нашем кластере.Хотя я пытаюсь найти какой-то обходной путь, я понимаю, что это поможет мне узнать, будет ли чтение с большей или меньшей вероятностью IOWAIT, если много операций чтения попадают в один и тот же файл, или если одинаковое общее количество операций чтения распределено пофайловая система, возможно, по одному на файл.

Как бы вы подошли к этому?

...