Производительность NVMe против SCSI для локальных твердотельных дисков в GCP с использованием Container OS

Question

В Google Cloud я провел простой тест производительности, сравнивая два «локальных SSD» диска, подключенных к одной и той же виртуальной машине - первый подключен как NVMe, а второй как SCSI.Я ожидал, что NVMe будет несколько быстрее, но вместо этого получил снижение производительности на 5%:

        NVMe    SCSI
real    157.3   150.1
user    107.2   107.1
sys     21.6    22.2

Вычислительная виртуальная машина Google работала под управлением ОС COS - Container Optimized, а сам докер-контейнер был занятым окном, работающим md5sumв том же файле 45GB.Результаты (усредненные за 3 прогона) немного озадачивают - системное время меньше, пользовательское время примерно такое же, но реальное время для NVMe примерно на 5% медленнее.Контейнер запускался с

docker run -v /mnt/disks/nvme:/tmp1 -v /mnt/disks/scsi:/tmp2 -it busybox

Тест был выполнен с

time md5sum largefile

Answer 1

Я полагаю, что в гостевом драйвере NVMe недавно произошло улучшение, которое могло бы помочь с этим.Я слышал, что он поставляется по умолчанию на последних изображениях Ubuntu, но, возможно, еще не включен в дистрибутив COS.Патч доступен здесь .

FWIW, md5sum также не предназначен для тестирования производительности хранилища, поэтому ваши результаты также могут быть не очень воспроизводимыми - он перегружает процессор(для вычисления контрольной суммы), а также запускается поверх вашей локальной файловой системы (которая может быть фрагментирована или нет, и т. д.), и кто знает, какой размер ввода-вывода используется для чтения данных, что может добавить изменчивостьв ваш тест.Если вы хотите провести настоящий IO-бенчмаркинг, в документации Google есть довольно хорошее руководство , объясняющее, как использовать fio для этого непосредственно поверх локальных твердотельных накопителей.