Основные рекомендации по высокопроизводительному бенчмаркингу

Question

Я собираюсь сравнить несколько реализаций программного обеспечения для численного моделирования на высокопроизводительном компьютере, главным образом в отношении времени, но другие ресурсы, такие как использование памяти, межпроцессное взаимодействие и т. Д., Также могут быть интересны.

На данный момент я не знаю общих рекомендаций по тестированию программного обеспечения (в этой области). Я также не знаю, какой уровень шума измерений можно ожидать, и сколько тестов обычно проводят. Хотя эти проблемы зависят от системы, я, конечно, уверен, что существуют стандарты, которые считаются разумными.

Можете ли вы предоставить такую ​​(вводную) информацию?

Answer 1

Если тест не занимает много времени, то я повторяю его (например, 10000 раз), чтобы он занял несколько секунд.

Затем я делаю это несколько раз (например, 5 раз), чтобы увидеть,результаты тестов воспроизводимы (или являются ли они очень изменчивыми).

У этого подхода есть ограничения (например, это тестирование с «горячим» кешем), но это лучше, чем ничего: и особенно хорошо при сравнении похожихкод, например, для того, чтобы увидеть, действительно ли подстройка производительности к существующему коду улучшила производительность (т. е. для тестирования «до» и «после»).

Answer 2

Лучший способ - протестировать работу, для которой вы фактически будете ее использовать!

Можете ли вы запустить подвыборку реальной проблемы - ту, которая займет всего несколько минут, и просто время, котороена разных машинах?