Оптимальный «чанкинг» для LTFS Copy - PullRequest
0 голосов
/ 26 февраля 2019

Я пишу скрипт на Python (хотя это не вопрос Python) для копирования файлов с ленты LTO-7 в формате LTFS порциями.LTO-7 имеет теоретическую скорость чтения 300 МБ (мега байт ) в секунду, поэтому я стараюсь максимально приблизиться, так как производительность очень важна.

Форматированный блокразмер может варьироваться от ленты к ленте, но по умолчанию это 524288 байт, поэтому я предполагаю, что мне следует использовать размер фрагмента, кратный размеру блока?Когда я пытаюсь прочитать 524288 кусков, производительность ужасна.Я обнаружил, что производительность превышает 225 МБ / с, когда я использую размер чанка 524288 B * 16, но это похоже на большой размер чанка, и он все еще не так быстр, как может сделать robocopy для того же файла.

Какой лучший способ определить оптимальный размер куска осознанным способом?Из того, что я прочитал, есть элемент проб и ошибок, но я хотел бы, по крайней мере, сформировать образованную гипотезу.

...