Как получить нос для обнаружения динамически генерируемых тестовых случаев? - PullRequest
Новая
       6

Как получить нос для обнаружения динамически генерируемых тестовых случаев?

6 голосов
/ 07 декабря 2008

Это продолжение моего предыдущего вопроса .

В предыдущем вопросе были рассмотрены методы для реализации того, что по сути было одним и тем же тестом, для всего семейства функций, чтобы гарантировать, что тестирование не остановится на первой функции, которая не прошла.

Мое предпочтительное решение использовало метакласс для динамической вставки тестов в unittest.TestCase. К сожалению, нос не подхватывает это, потому что нос статически сканирует для тестовых случаев.

Как заставить нос открыть и запустить такой TestCase? Пожалуйста, обратитесь здесь для примера рассматриваемого TestCase.

Ответы [ 3 ]

7 голосов
/ 24 марта 2009

Нос имеет функцию "тестового генератора" для подобных вещей. Вы пишете функцию генератора, которая выдает каждую функцию «контрольного примера», которую вы хотите запустить, вместе с ее аргументами. Следуя вашему предыдущему примеру, можно проверить каждую из функций в отдельном тесте: 

import unittest
import numpy

from somewhere import the_functions

def test_matrix_functions():
    for function in the_functions:
        yield check_matrix_function, function

def check_matrix_function(function)
    matrix1 = numpy.ones((5,10))
    matrix2 = numpy.identity(5)
    output = function(matrix1, matrix2)
    assert matrix1.shape == output.shape, \
           "%s produces output of the wrong shape" % str(function)
2 голосов
/ 27 ноября 2012

Nose не сканирует тесты статически, поэтому вы можете использовать магию метакласса для создания тестов, которые Nose находит.

Сложная часть заключается в том, что стандартные методы метакласса неправильно устанавливают атрибут func_name, что и ищет Нос при проверке того, являются ли методы в вашем классе тестами.

Вот простой метакласс. Он просматривает func dict и добавляет новый метод для каждого найденного метода, утверждая, что найденный метод имеет строку документации. Этим новым синтетическим методам присвоены имена "test_%d" %i. 

import new
from inspect import isfunction, getdoc

class Meta(type):
    def __new__(cls, name, bases, dct):

        newdct = dct.copy()
        for i, (k, v) in enumerate(filter(lambda e: isfunction(e[1]), dct.items())):
            def m(self, func):
                assert getdoc(func) is not None

            fname = 'test_%d' % i
            newdct[fname] = new.function(m.func_code, globals(), fname,
                (v,), m.func_closure)

        return super(Meta, cls).__new__(cls, 'Test_'+name, bases, newdct)

Теперь давайте создадим новый класс, который использует этот метакласс 

class Foo(object):
    __metaclass__ = Meta

    def greeter(self):
        "sdf"
        print 'Hello World'

    def greeter_no_docstring(self):
        pass

Во время выполнения, Foo будет фактически именоваться Test_Foo и будет иметь greeter, greeter_no_docstring, test_1 и test_2 в качестве своих методов. Когда я запускаю nosetests для этого файла, вот вывод: 

$ nosetests -v test.py
test.Test_Foo.test_0 ... FAIL
test.Test_Foo.test_1 ... ok

======================================================================
FAIL: test.Test_Foo.test_0
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/Library/Frameworks/EPD64.framework/Versions/7.3/lib/python2.7/site-packages/nose/case.py", line 197, in runTest
    self.test(*self.arg)
  File "/Users/rmcgibbo/Desktop/test.py", line 10, in m
    assert getdoc(func) is not None
AssertionError

----------------------------------------------------------------------
Ran 2 tests in 0.002s

FAILED (failures=1)

Этот метакласс на самом деле не очень полезен, но если вместо этого вы используете Meta не как правильный метакласс, а как функциональный метакласс (т.е. принимает класс в качестве аргумента и возвращает новый класс, один это переименовано так, что нос найдет это), тогда это полезно . Я использовал этот подход, чтобы автоматически проверить, что строки документации соответствуют стандарту Numpy как часть набора для тестирования носа.

Кроме того, у меня было много проблем с правильным закрытием при работе с new.function, поэтому в этом коде используется m(self, func), где func задано в качестве аргумента по умолчанию. Было бы более естественно использовать замыкание над value, но, похоже, это не сработало.

0 голосов
/ 14 декабря 2008

Вы можете попытаться сгенерировать классы теста с помощью type () 

class UnderTest_MixIn(object):

    def f1(self, i):
        return i + 1

    def f2(self, i):
        return i + 2

SomeDynamicTestcase = type(
    "SomeDynamicTestcase", 
    (UnderTest_MixIn, unittest.TestCase), 
    {"even_more_dynamic":"attributes .."}
)

# or even:

name = 'SomeDynamicTestcase'
globals()[name] = type(
    name, 
    (UnderTest_MixIn, unittest.TestCase), 
    {"even_more_dynamic":"attributes .."}
)

Это должно быть создано, когда нос пытается импортировать ваш test_module, чтобы он работал.

Преимущество этого подхода заключается в том, что вы можете динамически создавать множество комбинаций тестов.

...