Упаковка Python / Pip;как переместить встроенные файлы в каталог установки - PullRequest
Новая
       30

Упаковка Python / Pip;как переместить встроенные файлы в каталог установки

0 голосов
/ 20 ноября 2018

Я работал над пакетом Python, который упаковывает некоторые библиотеки C ++, которые должны быть собраны из исходного кода.Я создаю их с помощью CMake, и я хочу, чтобы в конечном итоге все это было «pip install».Я почти на месте, однако у меня возникают проблемы с получением библиотек, созданных CMake, для того, чтобы они оказались в окончательном каталоге установки Python.

Мне удалось получить их в окончательное «колесо», как ни странно, но они нев моем каталоге site_packages.

Мой файл setup.py выглядит следующим образом: 

import os
import re
import sys
import sysconfig
import site
import platform
import subprocess
import pathlib

from distutils.version import LooseVersion
from setuptools import setup, Extension
from setuptools.command.build_ext import build_ext as build_ext_orig

class CMakeExtension(Extension):
    def __init__(self, name, sourcedir=''):
        Extension.__init__(self, name, sources=[])
        self.sourcedir = os.path.abspath(sourcedir)

class CMakeBuild(build_ext_orig):
    def run(self):
        try:
            out = subprocess.check_output(['cmake', '--version'])
        except OSError:
            raise RuntimeError("CMake must be installed to build the following extensions: " +
                               ", ".join(e.name for e in self.extensions))

        if platform.system() == "Windows":
            raise RuntimeError("Sorry, pyScannerBit doesn't work on Windows platforms. Please use Linux or OSX.")

        for ext in self.extensions:
            self.build_extension(ext)

    def build_extension(self, ext):
        extdir = os.path.abspath(os.path.dirname(self.get_ext_fullpath(ext.name)))
        cmake_args = ['-DCMAKE_LIBRARY_OUTPUT_DIRECTORY=' + extdir,
                      '-DPYTHON_EXECUTABLE=' + sys.executable,
                      '-DCMAKE_VERBOSE_MAKEFILE:BOOL=OFF',
                      '-Wno-dev',
                      '-DCMAKE_RUNTIME_OUTPUT_DIRECTORY=' + extdir,
                      '-DSCANNERBIT_STANDALONE=True',
                      '-DCMAKE_INSTALL_RPATH=$ORIGIN',
                      '-DCMAKE_BUILD_WITH_INSTALL_RPATH:BOOL=ON',
                      '-DCMAKE_INSTALL_RPATH_USE_LINK_PATH:BOOL=ON',
                      '-DCMAKE_INSTALL_PREFIX:PATH=' + extdir,
                     ]

        cfg = 'Debug' if self.debug else 'Release'
        build_args = ['--config', cfg]

        if platform.system() == "Windows":
            cmake_args += ['-DCMAKE_LIBRARY_OUTPUT_DIRECTORY_{}={}'.format(cfg.upper(), extdir)]
            if sys.maxsize > 2**32:
                cmake_args += ['-A', 'x64']
            build_args += ['--', '/m']
        else:
            cmake_args += ['-DCMAKE_BUILD_TYPE=' + cfg]
            build_args += ['--', '-j2']

        env = os.environ.copy()
        env['CXXFLAGS'] = '{} -DVERSION_INFO=\\"{}\\"'.format(env.get('CXXFLAGS', ''),
                                                              self.distribution.get_version())

        if not os.path.exists(self.build_temp):
            os.makedirs(self.build_temp)

        # untar ScannerBit tarball
        subprocess.check_call(['tar','-C','pyscannerbit/scannerbit/untar/ScannerBit','-xf','pyscannerbit/scannerbit/ScannerBit_stripped.tar','--strip-components=1'], cwd=ext.sourcedir, env=env)

        # First cmake
        subprocess.check_call(['cmake', ext.sourcedir] + cmake_args, cwd=self.build_temp, env=env)
        # Build all the scanners
        subprocess.check_call(['cmake', '--build', '.', '--target', 'multinest'] + build_args, cwd=self.build_temp)
        # Re-run cmake to detect built scanner plugins
        subprocess.check_call(['cmake', ext.sourcedir], cwd=self.build_temp)
        # Main build
        subprocess.check_call(['cmake', '--build', '.'] + build_args, cwd=self.build_temp)
        # Install
        #subprocess.check_call(['cmake', '--build', '.', '--target', 'install'], cwd=self.build_temp)

setup(
    name='pyscannerbit',
    version='0.0.8',
    author='Ben Farmer',
    # Add yourself if you contribute to this package
    author_email='ben.farmer@gmail.com',
    description='A python interface to the GAMBIT scanning module, ScannerBit',
    long_description='',
    ext_modules=[CMakeExtension('_interface')],
    cmdclass=dict(build_ext=CMakeBuild),
    zip_safe=False,
    packages=['pyscannerbit'],
)

Как вы можете видеть, я говорю CMake собирать библиотеки в 'extdir', чтооказывается, 

/tmp/pip-req-build-d7mfvn1a/build/lib.linux-x86_64-3.6

Я предполагал, что файлы будут просто скопированы отсюда (или какой-то другой временный каталог?) в окончательный путь установки, но, возможно, это не сработает.(хотя, как я сказал ранее, эти встроенные файлы do попадают в генерируемое колесо).Нужно ли добавлять эти встроенные файлы в файл MANIFEST.in или в какую-либо запись «package_data» или что-то в этом роде?В настоящее время они нигде не перечислены, так как я понимаю, что они предназначены для перемещения файлов до, а не после сборки.В настоящее время я использую только MANIFEST.in, чтобы убедиться, что мой архив sdist заполнен правильно.

Для полноты я собираю пакет с помощью pip следующим образом: 

python setup.py sdist
pip install -v dist/pyscannerbit-0.0.8.tar.gz

Это просто так, язнать, что сборка из tarball работает, для последующего использования с PyPI.

Источник находится на github, если вы хотите попробовать его: https://github.com/bjfar/pyscannerbit

1 Ответ

0 голосов
/ 21 ноября 2018

Хорошо, так что, похоже, у меня были неправильные пути.Ранее я устанавливал CMAKE_LIBRARY_OUTPUT_DIRECTORY на 

extdir = os.path.abspath(os.path.dirname(self.get_ext_fullpath(ext.name)))

Однако мне нужно было указать на 

extdir+'/pyscannerbit'

, где pyscannerbit - это имя пакета.В противном случае файлы оказываются в родительском каталоге, где происходит сборка, но не в каталоге проекта.Таким образом, они впоследствии не копируются в путь установки.

...