дисковый кеш / вопрос производительности на экземплярах Amazon - PullRequest
0 голосов
/ 27 декабря 2018

Я наблюдаю некоторое поведение на экземплярах EC2, которое, по моему мнению, связано с дисковым кешем.В основном: у меня есть задача расчета, которая требует последовательного доступа к большому фрагменту данных (~ 60 файлов 1 ГБ).Я включил файлы в мое изображение амазонки.Я также использую mpi для запуска ~ 30 процессов для одновременного доступа к различным файлам.Кстати, программа связана с вычислениями, но дисковый ввод-вывод занимает приличную часть времени выполнения.Я заметил, что когда я запускаю экземпляр и выполняю вычисление с первой попытки, он чрезвычайно медленный.Команда top покажет, что процессы зависают время от времени, а загрузка процессора составляет около 60%.Однако, как только этот прогон завершится, если я начну другой прогон, он будет намного быстрее, и процессор составит около 99%.Это потому, что мои данные все еще находились на сетевом диске (EBS) и были автоматически загружены в дисковый кэш локального экземпляра (дисковод SSD?)?Я запустил его на C5n.18xlarge, но он указан только как EBS.У кого-нибудь был подобный опыт?Или альтернативные объяснения?

1 Ответ

0 голосов
/ 27 декабря 2018

Почти наверняка это был дисковый кеш, но в ОЗУ, а не в локальном SSD.

Тип экземпляра c5.18xl имеет 192 ГБ ОЗУ.Таким образом, в зависимости от того, что еще вы делаете с этой оперативной памятью, вполне возможно, что ваши 60 ГБ файлов данных были считаны в кэш и никогда не уходили.

Для получения дополнительной информации: https://www.tldp.org/LDP/sag/html/buffer-cache.html

...