Заставьте Джулию testuite сообщать обо всех сообщениях об ошибках в конце запуска - PullRequest
Новая
       32

Заставьте Джулию testuite сообщать обо всех сообщениях об ошибках в конце запуска

0 голосов
/ 30 января 2019

Я играю с функциональностью тестового набора Джулии, и мне это очень нравится.Однако я не могу понять, как заставить testuite сообщать о потенциальном сообщении после завершения.

Допустим, у меня есть набор тестов, подобный приведенному ниже, где каждая из функций выполняет несколько тестов по очереди.перед возвратом 

@testset "MyTestSuite" begin
    @testset "Subtest1" begin @test my_test_1() end
    @testset "Subtest2" begin @test my_test_2() end
    @testset "Subtest3" begin @test my_test_3() end
    @testset "Subtest4" begin @test my_test_4() end
end

Если теперь сказать, что my_test_4 дает сбой или выдает ошибку, то результат будет выглядеть следующим образом: 

Test Summary:                                   |    Pass  Error    Total
MyTestSuite                                     |      65      1       66
  Subtest1                                      |       5      1        6
  Subtest2                                      |      10      0       10
  Subtest3                                      |      20      0       20
  Subtest4                                      |      30      0       30
ERROR: LoadError: Some tests did not pass: 65 passed, 0 failed, 1 errored, 0 broken.

Но теперь есть способ (насколько мне известно) длячтобы увидеть, что пошло не так, без прокрутки вверх в выводе терминала.Если мои наборы тестов достаточно длинные и содержат достаточно диагностики, информация об ошибках может даже быть потеряна для меня или, по крайней мере, очень трудно найти.

Итак, кто-нибудь знает хороший способ обойти это?Есть ли варианты, которые можно дать макросу @testset, чтобы убедиться, что он печатает, собирает ошибки для дальнейшей обработки?

1 Ответ

0 голосов
/ 01 февраля 2019

Вы можете определить свой пользовательский AbstractTestSet.Он описан здесь в руководстве Julia.

Вот пример, адаптированный из руководства.Сначала определите: 

using Test

struct CustomTestSet <: Test.AbstractTestSet
    description::AbstractString
    results::Vector
    CustomTestSet(desc) = new(desc, [])
end

Test.record(ts::CustomTestSet, child::Test.AbstractTestSet) = push!(ts.results, child)
Test.record(ts::CustomTestSet, res::Test.Result) = push!(ts.results, res)

function Test.finish(ts::CustomTestSet)
    if Test.get_testset_depth() > 0
        Test.record(Test.get_testset(), ts)
    end
    ts
end

, и теперь вы можете написать: 

julia> res = @testset CustomTestSet "custom testset" begin
           # this testset should inherit the type, but not the argument.
           @testset "custom testset inner" begin
               @test 1==1
               @test 1==2
               @test 2==2
               @test 2==3
           end
       end
CustomTestSet("custom testset", Any[CustomTestSet("custom testset inner", Any[Test Passed, Test Failed at REPL[10]:5
  Expression: 1 == 2
   Evaluated: 1 == 2, Test Passed, Test Failed at REPL[10]:7
  Expression: 2 == 3
   Evaluated: 2 == 3])])

julia> res.results[1].results
4-element Array{Any,1}:
 Test Passed
 Test Failed at REPL[10]:5
  Expression: 1 == 2
   Evaluated: 1 == 2
 Test Passed
 Test Failed at REPL[10]:7
  Expression: 2 == 3
   Evaluated: 2 == 3

, и у вас есть доступ к вектору, который сообщает вам, что прошло и что не удалось, а при ошибке - что былопроблема.

Вы также можете отфильтровать пройденные тесты: 

julia> filter(x -> !(x isa Test.Pass), res.results[1].results)
2-element Array{Any,1}:
 Test Failed at REPL[6]:5
  Expression: 1 == 2
   Evaluated: 1 == 2
 Test Failed at REPL[6]:7
  Expression: 2 == 3
   Evaluated: 2 == 3

Если ваши тесты имеют более сложную вложенную структуру, вы должны делать это рекурсивно.

Это то, что выхотел?

...