трудности с использованием setuptools для компиляции модуля расширения

Question

Я разрабатываю пакет (модуль?), Предназначенный для установки в пипсах.Пакет содержит расширение C ++, упакованное с использованием pybind11, которое ссылается на некоторые другие библиотеки.

Я могу скомпилировать и связать библиотеки расширений вручную без проблем, однако я не могу правильно настроить файл setup.py так, чтобы модуль расширения устанавливался при вызове pip3 install my_package.

Я следовал этому коду (связан с документацией pybind11) для настройки моего setup.py файла, который включен ниже.

ОписаниеПроблема

Для полноты, мой каталог пакета выглядит примерно так:

my_package
    |-setup.py
    |-my_package
        |-__init__.py
        |-some_code.py
        |-src
            | my_extension.cpp
            | some_header.h

Я запускаю установку pip3 следующим образом:

pip3 install --user --upgrade --disable-pip-version-check . -vvv

(проверка версии отключена, поскольку у машины нет доступа к Интернету) .

По выводу на консоль я вижу, что gcc, по-видимому, вызывается, но я не знаюдостаточно о выходе, чтобы понять, правильно ли он вызывается.my_extension представляется построенным без каких-либо ошибок:

building 'my_extension' extension
    creating build/temp.linux-x86_64-3.7
    creating build/temp.linux-x86_64-3.7/my_package
    creating build/temp.linux-x86_64-3.7/my_package/src
    gcc -pthread -Wno-unused-result -Wsign-compare -DDYNAMIC_ANNOTATIONS_ENABLED=1 -DNDEBUG -O2 -g -pipe -Wall -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -Wp,-D_GLIBCXX_ASSERTIONS -fexceptions -fstack-protector-strong -grecord-gcc-switches -m64 -mtune=generic -fasynchronous-unwind-tables -fstack-clash-protection -fcf-protection -D_GNU_SOURCE -fPIC -fwrapv -fPIC -I/usr/local/include/python3.7m -I/home/<my_user>/.local/include/python3.7m -I/usr/include/eigen3 -I/usr/include/python3.7m -c my_package/src/my_extension.cpp -o build/temp.linux-x86_64-3.7/my_package/src/my_extension.o -O3 -fPIC -march=native -DVERSION_INFO="0.0.1" -std=c++14 -fvisibility=hidden

Однако по любой причине интерпретатор python не может найти my_extension.Находя подмодуль src:

>>> from my_package import src
>>> src.__path__
['/home/<my_user>/.local/lib/python3.7/site-packages/my_package/src']

Я вижу, что он пуст:

>>> ls /home/<my_user>/.local/lib/python3.7/site-packages/my_package/src
__init__.py  __pycache__

, то есть здесь нет файла my_extension.so.

Вопросы

• Есть ли очевидные проблемы с setup.py ниже?Я понимаю, что это несколько сложный пример.

• Если нет, то как я могу продолжить устранение этой проблемы?Я полностью застрял в том, как действовать.

My setup.py

from setuptools import setup, Extension
from setuptools.command.build_ext import build_ext
import sys
import setuptools

__version__ = '0.0.1'

class get_pybind_include(object):

    def __init__(self, user=False):
        self.user = user

    def __str__(self):
        import pybind11
        return pybind11.get_include(self.user)

ext_modules = [
    Extension(
        'my_extension',
        ['my_package/src/my_extension.cpp'],
        include_dirs=[
            get_pybind_include(),
            get_pybind_include(user=True),
            '/usr/include/eigen3'
        ],
        language='c++'
    ),
]

def has_flag(compiler, flagname):
    import tempfile
    with tempfile.NamedTemporaryFile('w', suffix='.cpp') as f:
        f.write('int main (int argc, char **argv) { return 0; }')
        try:
            compiler.compile([f.name], extra_postargs=[flagname])
        except setuptools.distutils.errors.CompileError:
            return False
    return True


def cpp_flag(compiler):
    if has_flag(compiler, '-std=c++14'):
        return '-std=c++14'
    elif has_flag(compiler, '-std=c++11'):
        return '-std=c++11'
    else:
        raise RuntimeError('Unsupported compiler -- at least C++11 support is needed!')


class BuildExt(build_ext):
    """A custom build extension for adding compiler-specific options."""
    c_opts = {
        'msvc': ['/EHsc'],
        'unix': [],
    }

    if sys.platform == 'darwin':
        c_opts['unix'] += ['-stdlib=libc++', '-mmacosx-version-min=10.7']

    def build_extensions(self):
        ct = self.compiler.compiler_type
        opts = self.c_opts.get(ct, [])

        # extra compiler options
        opts += [
            '-O3',
            '-fPIC',
            '-march=native'
        ]

        if ct == 'unix':
            opts.append('-DVERSION_INFO="%s"' % self.distribution.get_version())
            opts.append(cpp_flag(self.compiler))
            if has_flag(self.compiler, '-fvisibility=hidden'):
                opts.append('-fvisibility=hidden')
        elif ct == 'msvc':
            opts.append('/DVERSION_INFO=\\"%s\\"' % self.distribution.get_version())
        for ext in self.extensions:
            ext.extra_compile_args = opts
        build_ext.build_extensions(self)

setup(
    name='my_package',
    version=__version__,
    author='',
    author_email='',
    url='',
    description='',
    long_description='',
    packages = setuptools.find_packages(),
    ext_modules=ext_modules,
    install_requires=['pybind11>=2.2'],
    cmdclass={'build_ext': BuildExt},
    zip_safe=False,
)

Answer 1

Extension('my_extension', …) создает расширение верхнего уровня, которое можно импортировать с помощью

import my_extension

. Чтобы сделать его подмодулем пакета, добавьте имя пакета:

Extension('my_package.my_extension', …)