Каковы аргументы против использования pystone для оценки общей относительной производительности системы в нескольких системах?

Question

Я запускаю проект распределенных вычислений, чем-то похожий на различные проекты @home (хотя и не занимаюсь простыми научными вычислениями, но вместо этого иногда вовлекаю удаленного пользователя в задачи, связанные с представлением аудио и визуальных стимулов), и мне нужночтобы получить представление об относительной производительности системы на машинах, на которых запущено мое приложение, чтобы я мог исключить данные с машин очень низкого уровня (потому что они не могли верно представить стимулы).Приложение написано на python, и я вижу, что модуль pystone обеспечивает своего рода эталонный тест, но я также вижу, что в некоторых случаях pystone осуждается как эталонный тест.Насколько мне известно относительно сравнительного анализа новичков, pystone может не подойти для общего бенчмаркинга, потому что он сводит производительность к одному баллу, но для моих целей, где все, что я хочу - это один балл для сравнения на разных машинах, я думаю, что этого должно быть достаточно.Есть ли у меня недостатки, которые я пропускаю при использовании pystone для получения относительной общей производительности системы?

Answer 1

Большая проблема с Pystone как эталоном что-либо (будь то версии интерпретатора Python или базовое оборудование) заключается в том, что он просто не использует достаточно различных аспектов вычислительной среды.

Целочисленная арифметика, арифметика с плавающей запятой, векторные операции, выделенное мультимедийное оборудование, пропускная способность памяти, пропускная способность ввода-вывода, размеры кэша, архитектура потоков, архитектура конвейеризации ... список аппаратных функций, которые могут варьироваться в зависимости от машины, можно продолжать и продолжать и является главной причиной, по которой первый вопрос в ответе «Что быстрее, А или В?» обычно будет «Ну, а для чего вы планируете их использовать?». Ответ на вопрос о скорости, скорее всего, будет разным в зависимости от того, строите ли вы домашний медиацентр, веб-сервер или сервер базы данных и т. Д.

Современные компьютерные системы - это сложные звери, и наложение виртуальных машин-интерпретаторов с их собственным сложным объектом и моделями исполнения не облегчает задачу. Наивный тест, такой как Pystone, позволит вам получить общее представление об основных вычислительных ресурсах ЦП, но не расскажет вам ничего о других потенциально ограничивающих факторах машины.