Каков наиболее эффективный способ представить и сообщить об улучшении производительности (например, проценты, необработанные данные, графика)?

Question

Лучше ли описывать улучшения, используя проценты или только различия в цифрах? Например, если вы повысили производительность критического запроса ETL SQL с 4000 мсек до 312 мсек, как бы вы представили его как «достижение» в обзоре производительности?

Answer 1

1. Возьми картошку
2. Картофель с добавлением жидкости для зажигалок
3. Легкая картошка в огне
4. Рука картошки боссу
5. Заставьте босса подождать 4 секунды.
6. Спросите босса, как долго чувствовали эти 4 секунды
7. Спросите босса, насколько лучше было бы полсекунды
8. Греться во славе

Answer 2

в валюте. Деньги являются наиболее эффективным средством передачи информации о ценности, и именно это вы пытаетесь использовать для оценки эффективности.

сэкономленных человеко-часов, (очень приблизительно) оценочная стоимость $ NEW_THING_THE_COMPANY_CAN_DO_AS_RESULT, предотвращение будущих обновлений оборудования и т. Д.

Вы получаете приятный бонус, который показывает, что вы чувствительны к финансовому положению компании; выродок, который может присоединиться к тому, чем на самом деле занимается компания.

Answer 3

Всегда лучше измерять относительное улучшение.

Итак, если вы снизили его до 312 мс с 4000 мс, то это улучшение на 3688 мс, что составляет 92,2% от первоначальной скорости. Таким образом, вы сократили время выполнения на 92,2%. Другими словами, вы сократили время выполнения только до 7,8% от того, что было изначально.

Абсолютные числа, с другой стороны, обычно не так хороши, поскольку они несопоставимы. (Если исходное время выполнения было 4 000 000 мс, то улучшение на 3688 мс не так уж и велико.)

Answer 4

См. эту ссылку для некоторых хороших предложений диаграммы.

Сравнение с требованиями

Если у меня есть требования (время отклика, пропускная способность), мне нравится кодировать абсолютные числа следующим образом:

Зеленый: <= 80% от требования (время отклика); > = 120% от> требования (пропускная способность)
Нет форматирования: соответствует требованиям.
Красный: не соответствует требованию.

Сравнения интересны, но только если у нас достаточно, чтобы увидеть тенденции с течением времени; Наша работа постоянно улучшается или ухудшается? В конечном счете, бизнес заботится только о том, чтобы соответствовать требованиям. Только когда мы этого не делаем, они просят сравнить их с предыдущими выпусками.

Сравнение эталонов

Если я сравниваю контрольные показатели с некоторым базовым уровнем, то мне нравится использовать проценты, но только если контрольный показатель является статистически значимым изменением по сравнению с базовым уровнем.

Размеры оборудования

Если я занимаюсь настройкой аппаратного обеспечения или планированием емкости, я хотел бы выразить производительность как абсолютное число плюс стоимость за транзакцию. Например:

• Система A: 1000 транзакций в секунду, $ 0,02 / транзакция
• Система B: 1500 транзакций в секунду, $ 0,04 / транзакция

Answer 5

Вы можете заставить цифры и графики говорить что угодно, важно, чтобы они говорили что-то значимое и актуальное для аудитории, которой вы их представляете. если это конечные пользователи, вы можете показать им различия в обновлениях экрана (что они понимают), а менеджерам, возможно, потребуется меньшее количество серверов, которые им понадобятся для поддержки приложения (экономия в долларах), финансовые ... $ сколько это спасло их. общее правило - чем менее технически группа, тем более наглядной и драматичной вы должны быть.

Answer 6

Правило большого пальца: Какой бы звук не звучал более впечатляюще.

Если вы перешли с 10 заданий, выполненных за период, на 12, можно сказать, что вы повысили производительность на 20%. Сказать, что ты выполнил еще две задачи, не кажется впечатляющим.

В вашем случае оба числа звучат хорошо, но попробуйте разные представления и посмотрите, что вы получите!

Иногда графика помогает много улучшений по ряду факторов, но комбинированное как-то не выглядит круто

Пример: у вас есть 5 параметров A, B, C, D, E. Вы можете создать гистограмму с этими 5 параметрами и значениями «до и после» рядом для каждого параметра. Это будет выглядеть впечатляюще.

Боже, я начинаю звучать как мой друг по маркетингу!

убегает с криком

Answer 7

Используйте то, что кажется наиболее впечатляющим с учетом изменений. Согласно одному из методов расчета, это изменение ускорило запрос на 1300%, что выглядит более впечатляюще, чем улучшение в 13 раз, или

• ============= <- старый запрос </li>
• = <- новый запрос </li>

Хотя график не плохой метод.

Если вы можете посчитать улучшение в деньгах, тогда сделайте это. Один программный продукт, который я написал много лет назад, каждый день экономил немного инженеров. Вычисление затрат на зарплату, льготы, накладные расходы, и это привело к экономии более 12 тысяч долларов в год для небольшой компании.

-Adam