Как я могу настроить RSpec для тестирования производительности «на стороне» - PullRequest
Новая
       37

Как я могу настроить RSpec для тестирования производительности «на стороне»

9 голосов
/ 13 декабря 2011

Мы используем RSpec в проекте рельсов для модульного тестирования.Я хотел бы настроить некоторые тесты производительности в RSpec, но сделать это таким образом, чтобы не нарушать «обычные» функции и приспособления.

В идеале я бы мог пометить свои спецификации производительности в определенномтак, что они не запускаются по умолчанию.Затем, когда я укажу для явного запуска этих спецификаций, он загрузит другой набор приборов (имеет смысл проводить тестирование производительности с гораздо большим и более «производительным» набором данных).

Возможно ли это?Похоже, так и должно быть.

Кто-нибудь настраивал что-то подобное?Как ты это сделал?

Ответы [ 3 ]

20 голосов
/ 13 февраля 2012

Мне удалось получить то, что я искал, с помощью следующего: 

# Exclude :performance tagged specs by default
config.filter_run_excluding :performance => true

# When we're running a performance test load the test fixures:
config.before(:all, :performance => true) do
  # load performance fixtures
  require 'active_record/fixtures'
  ActiveRecord::Fixtures.reset_cache
  ActiveRecord::Fixtures.create_fixtures('spec/perf_fixtures', File.basename("products.yml", '.*'))
  ActiveRecord::Fixtures.create_fixtures('spec/perf_fixtures', File.basename("ingredients.yml", '.*'))
end

# define an rspec helper for takes_less_than
require 'benchmark'
RSpec::Matchers.define :take_less_than do |n|
  chain :seconds do; end
  match do |block|
    @elapsed = Benchmark.realtime do
      block.call
    end
    @elapsed <= n
  end
end

# example of a performance test
describe Api::ProductsController, "API Products controller", :performance do
  it "should fetch all the products reasonably quickly" do
    expect do
      get :index, :format => :json
    end.to take_less_than(60).seconds
  end
end

Но я склонен согласиться с мнением Марнена, что на самом деле это не лучшая идея для тестирования производительности.

0 голосов
/ 21 апреля 2019

Я создал rspec-benchmark Ruby gem для написания тестов производительности в RSpec.У него много ожиданий относительно скорости тестирования, использования ресурсов и масштабируемости.

Например, чтобы проверить, насколько быстро ваш код: 

expect { ... }.to perform_under(60).ms

Или сравнить с другой реализацией: 

expect { ... }.to perform_faster_than { ... }.at_least(5).times

Или для проверки вычислительной сложности: 

expect { ... }.to perform_logarithmic.in_range(8, 100_000)

Или для просмотра количества выделенных объектов: 

expect {
  _a = [Object.new]
  _b = {Object.new => 'foo'}
}.to perform_allocation({Array => 1, Object => 2}).objects
0 голосов
/ 14 декабря 2011

Если вы хотите провести тестирование производительности, почему бы не запустить New Relic или что-то еще со снимком производственных данных? Я думаю, вам не нужны разные спецификации для этого.

...