В старые (однопоточные) дни мы поручили нашей группе тестирования всегда сообщать о времени процессора, а не в реальном времени приложения. Таким образом, если они сказали, что в версии 1 действие заняло 5 секунд ЦП, а в версии 2 - 10 секунд ЦП, у нас возникла проблема.
Теперь, когда все больше и больше многопоточности, это больше не имеет смысла. Может случиться так, что версия 1 приложения занимает 5 секунд ЦП, а версия 2 - 10 ЦП, но эта версия 2 все еще быстрее, если версия 1 однопоточная, а версия 2 использует 4 потока (каждый занимает 2,5 секунды ЦП). .
С другой стороны, использование сравнения производительности в режиме реального времени также ненадежно, поскольку на него могут влиять многие другие элементы (другие запущенные приложения, перегрузка сети, очень занятый сервер базы данных, фрагментированный диск, ...) .
Какой, по вашему мнению, лучший способ «подсчитать» производительность?
Надеюсь, это не интуиция, поскольку это не объективная «ценность» и, вероятно, приводит к конфликтам между командой разработчиков и командой тестирования.