разница между базовым уровнем и эталоном в производительности приложения

Question

Что такое базовый уровень и что такое эталонный тест? каково лучшее определение для них и как определить базовый набор чисел и сравнить другой набор?

Answer 1

Интересные определения из SPR (Исследование производительности программного обеспечения)

Исходный уровень и контрольный показатель - это схожие, но разные виды деятельности.

Образно, базовая линия - это «линия в песке» для организации, посредством которой она измеряет важные характеристики производительности для дальнейшего использования.

Это не обязательно "хорошее" состояние ", просто ссылка.

Эту точку отсчета лучше всего понять по первоначальному происхождению самого слова:

Торговцы, выполняющие повторяющиеся задачи, такие как распиловка пиломатериалов на одинаковую длину, часто размещают надрезы на своих верстаках, чтобы указать размещение досок перед резкой. Буквально отметка стала стандартом для сравнения и показателем прошлого успеха .

В основном:

• базовый уровень равен идентификации значимого состояния , что означает, что ваш набор номеров соответствует статусу одобрения, общепризнанному.
• эталонный тест - это оценка относительной производительности приложения.

Answer 2

HI Gagneet, я работаю в команде разработчиков Windows: вот как мы используем эти термины.

A baseline - это измерение известной конфигурации, которое используется в качестве эталона для последующих измерений. Для базовой линии мы характеризуем измеряемую вещь: например, давайте возьмем время холодной загрузки. Здесь у нас есть набор машин, которые хорошо охарактеризованы - это означает, что мы знаем, как они работают, что у нас есть хорошие драйверы для них, и что оборудование не сломано и не испорчено.

На этом оборудовании у нас есть несколько измерений «базовой линии», таких как XP-RTM, XP-SP2, Vista-RTM, Vista-SP1, Vista-SP2 и т. Д. И т. Д.

Для каждой из этих базовых линий у нас есть набор хорошо охарактеризованных и понятных измерений, включающих все фазы загрузки, количество ЦП, использование диска и памяти, количество загрузок DLL и т. Д. И т. Д.

После того, как базовая линия установлена, мы можем провести другие измерения и сравнить их с базовой линией. Например, в настоящее время мы работаем над Window-7 . Для каждой сборки (ежедневно) мы запускаем набор тестов времени загрузки. Мы сравниваем все характеристики каждой сборки Win-7 с измерениями базовой линии. Это включает в себя все предыдущие сборки Win-7. Это позволяет нам увидеть, в чем заключаются различия, и помогает детализировать проблемные области. Вот некоторые подробности .

Answer 3

В научных исследованиях эталонный тест является своего рода тестом, а базовый уровень - своего рода результатом.

Давайте рассмотрим пример теста производительности: мы могли бы взять набор из 5000 предложений на английском языке и использовать четырехъядерный компьютер Dell для лабораторной работы, чтобы перевести их на испанский язык с использованием различных алгоритмов. Поскольку мы сохранили данные и постоянную машины, мы можем существенно сравнить время, затрачиваемое различными алгоритмами для выполнения задачи, а также их относительную точность (измеренную по человеческим переводам золотого стандарта).

Чтобы найти базовую линию для этого теста, мы могли бы написать очень наивный алгоритм перевода, который просто находит наиболее общий перевод для каждого отдельного слова, без учета контекста. Измерение точности этого алгоритма в сравнении с нашими человеческими переводами дает нам представление о минимальной оценке - базовой линии - которую должны побить другие, и дает нам представление о том, какой уровень точности считается «хорошим».

На другом конце шкалы от базовой линии верхняя граница также является полезным критерием. В примере перевода мы могли бы найти верхнюю границу, измерив точность одного из наших человеческих переводов по отношению к другим. Это дает нам представление о том, насколько высока оценка нашей «точности», прежде чем вы достигнете предела человеческих разногласий. Мы ожидаем, что наши алгоритмы машинного перевода будут работать на уровне между базовой линией и верхней границей.

Answer 4

Поправьте меня, если я ошибаюсь, но я считаю, что "базовый уровень" относится к известному хорошему состоянию, а "эталонный" относится к текущему состоянию. Вы должны сделать тест и сравнить его с базовым уровнем.