Как запустить скрипт как тест pytest

Question

Предположим, у меня есть тест, выраженный в виде простого сценария с assert -условиями (см. Фон, почему), например,

import foo
assert foo(3) == 4

Как бы я включил этот скрипт в мой набор тестов pytest - хорошим способом?

Я попробовал два рабочих, но не очень приятных подхода:

Один из подходов заключается в том, чтобы назвать скрипт как тест, но это приводит к тому, что при обнаружении неудачи все обнаружение pytest завершается неудачей.

Мой текущий подход - импортировать скрипт из тестовой функции:

def test_notebooks():
    notebook_folder = Path(__file__).parent / 'notebooks'
    for notebook in notebook_folder.glob('*.py'):
        import_module(f'{notebook_folder.name}.{notebook.stem}')

Это работает, но сценарии не сообщаются по отдельности, и при неудачных тестах имеется длинная и извилистая трассировка стека:

__________________________________________________ test_notebooks ___________________________________________________

    def test_notebooks():
        notebook_folder = Path(__file__).parent / 'notebooks'
        for notebook in notebook_folder.glob('*.py'):
>           import_module(f'{notebook_folder.name}.{notebook.stem}')

test_notebooks.py:7:
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
envs\anaconda\lib\importlib\__init__.py:127: in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
<frozen importlib._bootstrap>:1006: in _gcd_import
... (9 lines removed)...
<frozen importlib._bootstrap>:219: in _call_with_frames_removed
    ???
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   assert False
E   AssertionError

notebooks\notebook_2.py:1: AssertionError

Фон

Причина, по которой я проверяю файлы сценариев, заключается в том, что они действительно являются записными книжками Jupyter, сохраненными в виде .py -файлов с разметкой с помощью отличного плагина jupytext .

Эти записные книжки преобразованы в html для документации, могут использоваться в интерактивном режиме для изучения системы и служат дешевыми функциональными тестами.

Answer 1

Выполнение скриптов в тестовой функции

Нет ничего плохого в том, чтобы вызывать скрипты из тестовой функции, так что ваш подход идеально подходит. Однако я бы использовал параметризацию вместо запуска скриптов в цикле for; Таким образом, вы получите хороший результат выполнения теста один раз за сценарий. Если вам не нравятся длинные трассировки, вы можете вырезать их в пользовательском pytest_exception_interact hookimpl. Пример:

# conftest.py

def pytest_exception_interact(node, call, report):
    excinfo = call.excinfo
    if 'script' in node.funcargs:
        excinfo.traceback = excinfo.traceback.cut(path=node.funcargs['script'])
    report.longrepr = node.repr_failure(excinfo)

Параметризованные тесты:

# test_spam.py

import pathlib
import runpy
import pytest

scripts = pathlib.Path(__file__, '..', 'scripts').resolve().glob('*.py')


@pytest.mark.parametrize('script', scripts)
def test_script_execution(script):
    runpy.run_path(script)

Результаты выполнения теста (для тестирования я создал простые сценарии с одной строкой, например assert False или 1 / 0:

$ pytest -v
======================================= test session starts ========================================
platform linux -- Python 3.6.8, pytest-4.6.3, py-1.8.0, pluggy-0.12.0 -- /home/hoefling/projects/.venvs/stackoverflow/bin/python3.6
cachedir: .pytest_cache
rootdir: /home/hoefling/projects/private/stackoverflow/so-56807698
plugins: mock-1.10.4, cov-2.7.1, forked-1.0.2, xdist-1.28.0, django-3.4.8
collected 3 items                                                                                  

test_spam.py::test_script_execution[script0] PASSED
test_spam.py::test_script_execution[script1] FAILED
test_spam.py::test_script_execution[script2] FAILED

============================================= FAILURES =============================================
____________________________________ test_script_runpy[script1] ____________________________________

>   assert False
E   AssertionError

scripts/script_3.py:1: AssertionError
____________________________________ test_script_runpy[script2] ____________________________________

>   1 / 0
E   ZeroDivisionError: division by zero

scripts/script_2.py:1: ZeroDivisionError
================================ 2 failed, 1 passed in 0.07 seconds ================================

Пользовательский протокол испытаний

Если вам не нравится вышеуказанное решение, я могу подумать еще о том, чтобы реализовать собственный протокол сбора и выполнения тестов. Пример:

# conftest.py

import pathlib
import runpy
import pytest


def pytest_collect_file(parent, path):
    p = pathlib.Path(str(path))
    if p.suffix == '.py' and p.parent.name == 'scripts':
        return Script(path, parent)


class Script(pytest.File):
    def collect(self):
        yield ScriptItem(self.name, self)


class ScriptItem(pytest.Item):
    def runtest(self):
        runpy.run_path(self.fspath)

    def repr_failure(self, excinfo):
        excinfo.traceback = excinfo.traceback.cut(path=self.fspath)
        return super().repr_failure(excinfo)

Он будет собирать каждый файл .py в каталоге scripts, оборачивать каждый сценарий в тестовый пример и вызывать runpy при выполнении теста. Журнал выполнения будет выглядеть примерно одинаково, только тесты будут называться по-разному.