Прежде всего, речь идет не о полезности микробенчмарков. Я хорошо знаю их назначение: указание характеристик производительности и сравнение в очень конкретном случае, чтобы выделить один аспект. Должно ли это иметь какие-либо последствия для вашей работы - это отдельная история.
Несколько лет назад кто-то (я думаю, Хайнц Кабуц?) Заметил, что каждый тест, который стоит времени, чтобы взглянуть на его результаты, должен выполняться, по крайней мере, несколько минут и должен выполняться, по крайней мере, 3 раза, тогда как Первый запуск всегда отбрасывается. Это должно было объяснить прогрев JVM, а также несоответствия в среде (фоновые процессы, сетевой трафик, ...) и неточности измерений. Это имело смысл для меня, и мой личный опыт подсказывал нечто подобное, поэтому я всегда придерживался этой стратегии.
Однако я заметил, что многие люди (например, Джефф ) пишут тесты производительности, которые выполняются всего за пару миллисекунд (!) И запускаются только один раз. Я знаю, что точность краткосрочных тестов возросла в последние годы, но это все равно кажется мне странным. Разве не каждый микробенчмарк должен работать хотя бы секунду и запускаться как минимум 3 раза, чтобы получить несколько полезный результат? Или это правило устарело в наши дни?