Перемешивание ImportError в Python

Question

Я пытаюсь сделать это почти два часа без всякой удачи.

У меня есть модуль, который выглядит так:

try:
    from zope.component import queryUtility  # and things like this
except ImportError:
    # do some fallback operations <-- how to test this?

Позже в коде:

try:
    queryUtility(foo)
except NameError:
    # do some fallback actions <-- this one is easy with mocking 
    # zope.component.queryUtility to raise a NameError

Есть идеи?

EDIT:

Предложение Алекса, похоже, не работает:

>>> import __builtin__
>>> realimport = __builtin__.__import__
>>> def fakeimport(name, *args, **kw):
...     if name == 'zope.component':
...         raise ImportError
...     realimport(name, *args, **kw)
...
>>> __builtin__.__import__ = fakeimport

При выполнении тестов:

aatiis@aiur ~/work/ao.shorturl $ ./bin/test --coverage .
Running zope.testing.testrunner.layer.UnitTests tests:
  Set up zope.testing.testrunner.layer.UnitTests in 0.000 seconds.


Error in test /home/aatiis/work/ao.shorturl/src/ao/shorturl/shorturl.txt
Traceback (most recent call last):
  File "/usr/lib64/python2.5/unittest.py", line 260, in run
    testMethod()
  File "/usr/lib64/python2.5/doctest.py", line 2123, in runTest
    test, out=new.write, clear_globs=False)
  File "/usr/lib64/python2.5/doctest.py", line 1361, in run
    return self.__run(test, compileflags, out)
  File "/usr/lib64/python2.5/doctest.py", line 1282, in __run
    exc_info)
  File "/usr/lib64/python2.5/doctest.py", line 1148, in report_unexpected_exception
    'Exception raised:\n' + _indent(_exception_traceback(exc_info)))
  File "/usr/lib64/python2.5/doctest.py", line 1163, in _failure_header
    out.append(_indent(source))
  File "/usr/lib64/python2.5/doctest.py", line 224, in _indent
    return re.sub('(?m)^(?!$)', indent*' ', s)
  File "/usr/lib64/python2.5/re.py", line 150, in sub
    return _compile(pattern, 0).sub(repl, string, count)
  File "/usr/lib64/python2.5/re.py", line 239, in _compile
    p = sre_compile.compile(pattern, flags)
  File "/usr/lib64/python2.5/sre_compile.py", line 507, in compile
    p = sre_parse.parse(p, flags)
AttributeError: 'NoneType' object has no attribute 'parse'



Error in test BaseShortUrlHandler (ao.shorturl)
Traceback (most recent call last):
  File "/usr/lib64/python2.5/unittest.py", line 260, in run
    testMethod()
  File "/usr/lib64/python2.5/doctest.py", line 2123, in runTest
    test, out=new.write, clear_globs=False)
  File "/usr/lib64/python2.5/doctest.py", line 1351, in run
    self.debugger = _OutputRedirectingPdb(save_stdout)
  File "/usr/lib64/python2.5/doctest.py", line 324, in __init__
    pdb.Pdb.__init__(self, stdout=out)
  File "/usr/lib64/python2.5/pdb.py", line 57, in __init__
    cmd.Cmd.__init__(self, completekey, stdin, stdout)
  File "/usr/lib64/python2.5/cmd.py", line 90, in __init__
    import sys
  File "<doctest shorturl.txt[10]>", line 4, in fakeimport
NameError: global name 'realimport' is not defined

Однако, работает , когда я запускаю тот же код с интерактивной консоли python.

БОЛЬШЕ РЕДАКТИРОВАТЬ:

Я использую zope.testing и тестовый файл shorturl.txt, в котором есть все тесты, специфичные для этой части моего модуля. Сначала я импортирую модуль с zope.component, чтобы продемонстрировать и протестировать обычное использование. Отсутствие пакетов zope.* считается крайним случаем, поэтому я тестирую его позже. Таким образом, я должен reload() мой модуль, после того как zope.* как-то недоступен.

До сих пор я даже пытался использовать tempfile.mktempdir() и пустые zope/__init__.py и zope/component/__init__.py файлы в tempdir, затем вставлять tempdir в sys.path[0] и удалять старые пакеты zope.* из sys.modules.

тоже не сработало.

ДАЖЕ БОЛЬШЕ РЕДАКТИРОВАТЬ:

А пока я пробовал это:

>>> class NoZope(object):
...     def find_module(self, fullname, path):
...         if fullname.startswith('zope'):
...             raise ImportError
... 

>>> import sys
>>> sys.path.insert(0, NoZope())

И он хорошо работает для пространства имен набора тестов (= для всех импортов в shorturl.txt), но он не выполняется в моем основном модуле, ao.shorturl. Даже когда я reload() это. Есть идеи почему?

>>> import zope  # ok, this raises an ImportError
>>> reload(ao.shorturl)    <module ...>

При импорте zope.interfaces возникает ImportError, поэтому он не попадает в ту часть, куда я импортирую zope.component, а остается в пространстве имен ao.shorturl . Почему?!

>>> ao.shorturl.zope.component  # why?! 
<module ...>

Answer 1

Просто подключите обезьяну к builtins вашей собственной версии __import__ - она ​​может поднять все, что вы пожелаете, когда узнает, что она вызывается на определенных модулях, для которых вы хотите смоделировать ошибки. См. документы для подробных деталей. Грубо говоря:

try:
    import builtins
except ImportError:
    import __builtin__ as builtins
realimport = builtins.__import__

def myimport(name, globals, locals, fromlist, level):
    if ...:
        raise ImportError
    return realimport(name, globals, locals, fromlist, level)

builtins.__import__ = myimport

Вместо ... вы можете жестко кодировать name == 'zope.component' или упорядочивать вещи с помощью собственного обратного вызова, который может увеличить импорт по требованию в различных случаях, в зависимости от ваших конкретных потребностей тестирования, без необходимости кодировать несколько __import__ -подобных функций; -).

Обратите также внимание, что если вместо import zope.component или from zope.component import something используется from zope import component, то name будет 'zope', а 'component' будет единственным элементом в fromlist.

Редактировать : документы для функции __import__ говорят, что имя для импорта - builtin (как в Python 3), но на самом деле вам нужно __builtins__ - я редактировал код выше, чтобы он работал в любом случае.

Answer 2

Это то, что я оправдал в своих юнит-тестах.

Используется PEP-302 "Новые импортные зацепки" . (Предупреждение: документ PEP-302 и более краткие примечания к выпуску, которые я связал, не совсем точны .)

Я использую meta_path, потому что это как можно раньше в последовательности импорта.

Если модуль уже был импортирован (как в моем случае, потому что предыдущие юнит-тесты насмехаются над ним), тогда необходимо удалить его из sys.modules, прежде чем выполнить reload на зависимом модуле.

Ensure we fallback to using ~/.pif if XDG doesn't exist.

 >>> import sys

 >>> class _():
 ... def __init__(self, modules):
 ...  self.modules = modules
 ...
 ...  def find_module(self, fullname, path=None):
 ...  if fullname in self.modules:
 ...   raise ImportError('Debug import failure for %s' % fullname)

 >>> fail_loader = _(['xdg.BaseDirectory'])
 >>> sys.meta_path.append(fail_loader)

 >>> del sys.modules['xdg.BaseDirectory']

 >>> reload(pif.index) #doctest: +ELLIPSIS
 <module 'pif.index' from '...'>

 >>> pif.index.CONFIG_DIR == os.path.expanduser('~/.pif')
 True

 >>> sys.meta_path.remove(fail_loader)

Где код внутри pif.index выглядит так:

try:
    import xdg.BaseDirectory

    CONFIG_DIR = os.path.join(xdg.BaseDirectory.xdg_data_home, 'pif')
except ImportError:
    CONFIG_DIR = os.path.expanduser('~/.pif')

---

Чтобы ответить на вопрос о том, почему недавно перезагруженный модуль имеет свойства старой и новой загрузки, вот два примера файлов.

Первый - это модуль y со случаем сбоя импорта.

# y.py

try:
    import sys

    _loaded_with = 'sys'
except ImportError:
    import os

    _loaded_with = 'os'

Вторым является x, который демонстрирует, как оставление дескрипторов модуля может повлиять на его свойства при перезагрузке.

# x.py

import sys

import y

assert y._loaded_with == 'sys'
assert y.sys

class _():
    def __init__(self, modules):
        self.modules = modules

    def find_module(self, fullname, path=None):
        if fullname in self.modules:
            raise ImportError('Debug import failure for %s' % fullname)

# Importing sys will not raise an ImportError.
fail_loader = _(['sys'])
sys.meta_path.append(fail_loader)

# Demonstrate that reloading doesn't work if the module is already in the
# cache.

reload(y)

assert y._loaded_with == 'sys'
assert y.sys

# Now we remove sys from the modules cache, and try again.
del sys.modules['sys']

reload(y)

assert y._loaded_with == 'os'
assert y.sys
assert y.os

# Now we remove the handles to the old y so it can get garbage-collected.
del sys.modules['y']
del y

import y

assert y._loaded_with == 'os'
try:
    assert y.sys
except AttributeError:
    pass
assert y.os

Answer 3

Если вы не возражаете против изменения самой вашей программы, вы также можете поместить вызов import в функцию и исправить это в своих тестах.