Невозможно установить Dask [полный] в образе Alpine 3.9 docker - PullRequest
Новая
       53

Невозможно установить Dask [полный] в образе Alpine 3.9 docker

3 голосов
/ 16 января 2020

Как часть одного из моих требований, я пытаюсь создать образ docker из alpine 3.9 и установить в него python 3.8, что прекрасно работает. Но когда я пытаюсь установить в него dask [complete], происходит сбой со следующей ошибкой: 

ERROR: Command errored out with exit status 1:
 command: /usr/bin/python3.6 -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-qz3whw9z/pillow/setup.py'"'"'; __file__='"'"'/tmp/pip-install-qz3whw9z/pillow/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-9hrkto9l/install-record.txt --single-version-externally-managed --compile
     cwd: /tmp/pip-install-qz3whw9z/pillow/
Complete output (174 lines):
running install
running build
running build_py
creating build
creating build/lib.linux-x86_64-3.6
creating build/lib.linux-x86_64-3.6/PIL
copying src/PIL/TiffTags.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageMath.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PsdImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PngImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/_util.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/Image.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/GimpGradientFile.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PSDraw.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ExifTags.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/FitsStubImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/IcnsImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PcfFontFile.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/GribStubImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImagePath.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/SunImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/XbmImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PyAccess.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/GbrImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/JpegImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/DdsImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PdfImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/SgiImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/MspImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/features.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PalmImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImtImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/EpsImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/GifImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/CurImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/XpmImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/WmfImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/FtexImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PcdImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/BmpImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/DcxImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageQt.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/FontFile.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/TiffImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/IcoImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/McIdasImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/BufrStubImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageWin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageOps.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/FpxImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/XVThumbImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageFont.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageChops.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PpmImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageShow.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageMode.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/Jpeg2KImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/JpegPresets.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageColor.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PcxImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/WalImageFile.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageMorph.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageSequence.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageGrab.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageFile.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/BlpImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/_tkinter_finder.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageFilter.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageStat.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/BdfFontFile.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/Hdf5StubImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/WebPImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PixarImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImagePalette.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/__main__.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageEnhance.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/MpoImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/GimpPaletteFile.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ContainerIO.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageDraw.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageTransform.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageDraw2.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/TgaImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/MpegImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageTk.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/__init__.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/ImageCms.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/FliImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/_binary.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/TarIO.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/GdImageFile.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PdfParser.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/IptcImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/PaletteFile.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/MicImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/SpiderImagePlugin.py -> build/lib.linux-x86_64-3.6/PIL
copying src/PIL/_version.py -> build/lib.linux-x86_64-3.6/PIL
running egg_info
writing src/Pillow.egg-info/PKG-INFO
writing dependency_links to src/Pillow.egg-info/dependency_links.txt
writing top-level names to src/Pillow.egg-info/top_level.txt
reading manifest file 'src/Pillow.egg-info/SOURCES.txt'
reading manifest template 'MANIFEST.in'
warning: no files found matching '*.c'
warning: no files found matching '*.h'
warning: no files found matching '*.sh'
warning: no previously-included files found matching '.appveyor.yml'
warning: no previously-included files found matching '.coveragerc'
warning: no previously-included files found matching '.codecov.yml'
warning: no previously-included files found matching '.editorconfig'
warning: no previously-included files found matching '.readthedocs.yml'
warning: no previously-included files found matching 'azure-pipelines.yml'
warning: no previously-included files matching '.git*' found anywhere in distribution
warning: no previously-included files matching '*.pyc' found anywhere in distribution
warning: no previously-included files matching '*.so' found anywhere in distribution
no previously-included directories found matching '.azure-pipelines'
no previously-included directories found matching '.travis'
writing manifest file 'src/Pillow.egg-info/SOURCES.txt'
running build_ext


The headers or library files could not be found for zlib,
a required dependency when compiling Pillow from source.

Please see the install instructions at:
   https://pillow.readthedocs.io/en/latest/installation.html

Traceback (most recent call last):
  File "/tmp/pip-install-qz3whw9z/pillow/setup.py", line 892, in <module>
    zip_safe=not (debug_build() or PLATFORM_MINGW),
  File "/usr/lib/python3.6/site-packages/setuptools/__init__.py", line 145, in setup
    return distutils.core.setup(**attrs)
  File "/usr/lib/python3.6/distutils/core.py", line 148, in setup
    dist.run_commands()
  File "/usr/lib/python3.6/distutils/dist.py", line 955, in run_commands
    self.run_command(cmd)
  File "/usr/lib/python3.6/distutils/dist.py", line 974, in run_command
    cmd_obj.run()
  File "/usr/lib/python3.6/site-packages/setuptools/command/install.py", line 61, in run
    return orig.install.run(self)
  File "/usr/lib/python3.6/distutils/command/install.py", line 545, in run
    self.run_command('build')
  File "/usr/lib/python3.6/distutils/cmd.py", line 313, in run_command
    self.distribution.run_command(command)
  File "/usr/lib/python3.6/distutils/dist.py", line 974, in run_command
    cmd_obj.run()
  File "/usr/lib/python3.6/distutils/command/build.py", line 135, in run
    self.run_command(cmd_name)
  File "/usr/lib/python3.6/distutils/cmd.py", line 313, in run_command
    self.distribution.run_command(command)
  File "/usr/lib/python3.6/distutils/dist.py", line 974, in run_command
    cmd_obj.run()
  File "/usr/lib/python3.6/distutils/command/build_ext.py", line 339, in run
    self.build_extensions()
  File "/tmp/pip-install-qz3whw9z/pillow/setup.py", line 687, in build_extensions
    raise RequiredDependencyException(f)
__main__.RequiredDependencyException: zlib

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "/tmp/pip-install-qz3whw9z/pillow/setup.py", line 907, in <module>
    raise RequiredDependencyException(msg)
__main__.RequiredDependencyException:

The headers or library files could not be found for zlib,
a required dependency when compiling Pillow from source.

Please see the install instructions at:
   https://pillow.readthedocs.io/en/latest/installation.html


----------------------------------------
ERROR: Command errored out with exit status 1: /usr/bin/python3.6 -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-qz3whw9z/pillow/setup.py'"'"'; __file__='"'"'/tmp/pip-install-qz3whw9z/pillow/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-9hrkto9l/install-record.txt --single-version-externally-managed --compile Check the logs for full command output.

Между тем, когда я пытаюсь сделать то же самое с debian:buster/python:latest, все работает нормально, но из-за некоторых стандартов я нужно использовать альпийское изображение 3.9. Добавление содержимого файла docker, чтобы можно было повторить ошибку. 

FROM alpine:3.9
RUN apk add --no-cache python3 && \
  python3 -m ensurepip && \
  rm -r /usr/lib/python*/ensurepip && \
  pip3 install --upgrade pip setuptools && \
  if [ ! -e /usr/bin/pip ]; then ln -s pip3 /usr/bin/pip ; fi && \
  if [[ ! -e /usr/bin/python ]]; then ln -sf /usr/bin/python3 /usr/bin/python; fi && \
  rm -r /root/.cache
RUN apk upgrade --no-cache
RUN apk add build-base
RUN apk add --no-cache python3-dev libstdc++ && \
  apk add --no-cache g++ && \
  apk add --no-cache gcc && \
  ln -s /usr/include/locale.h /usr/include/xlocale.h && \
  #pip3 install numpy && \
  #pip3 install pandas && \
  pip3 install pycryptodome && \
  pip3 install "dask[complete]"
CMD ["python3"]

Ответы [ 3 ]

0 голосов
/ 16 января 2020

Я предлагаю вообще не использовать Alpine.

Мотивация для использования Alpine - маленькие изображения. Но Python пакеты с колесами, предварительно скомпилированные двоичные файлы, не будут работать на Alpine. Таким образом, вы должны перекомпилировать все. Поэтому вам нужно установить компилятор и пакеты для разработчиков и перекомпилировать все, что только замедляет сборку вашего образа и увеличивает его.

Если вы начинаете с образа на основе Debian, большую часть времени вам не понадобится собрать что-нибудь вообще. И если вы это сделаете, это будет намного меньший набор Python пакетов.

Более длительная запись, и другие причины, по которым Alpine не является хорошей идеей: https://pythonspeed.com/articles/base-image-python-docker-images/

0 голосов
/ 30 января 2020

@ Ответ Саймона довольно близок, но не совсем то, что я искал. После небольшого исследования я смог решить проблему, разместив правильный Dockerfile. 

FROM alpine:3.9
RUN apk add --no-cache python3 && \
  python3 -m ensurepip && \
  rm -r /usr/lib/python*/ensurepip && \
  pip3 install --upgrade pip setuptools && \
  if [ ! -e /usr/bin/pip ]; then ln -s pip3 /usr/bin/pip ; fi && \
  if [[ ! -e /usr/bin/python ]]; then ln -sf /usr/bin/python3 /usr/bin/python; 
  fi && \
  rm -r /root/.cache
RUN apk upgrade --no-cache
RUN apk add build-base
RUN apk add --no-cache python3-dev libstdc++ && \
apk add --no-cache g++ && \
apk add --no-cache gcc \
  krb5-dev \
  libstdc++ \
  libxml2-dev \
  libxslt-dev \
  libffi-dev \
  jpeg-dev \
  zlib-dev \
  openssl-dev \
  build-base \
  git && \
ln -s /usr/include/locale.h /usr/include/xlocale.h && \
pip3 install pycryptodome && \
pip3 install "dask[complete]"
CMD ["python3"]
0 голосов
/ 16 января 2020

Alpine - это минимальное рабочее изображение linux, поэтому для компиляции пакетов python нередко отсутствуют необходимые библиотеки. Я сталкивался с подобными проблемами довольно часто, в зависимости от пакета pyhton, который я хотел установить.

Ваш журнал показывает, что вам не хватает заголовочных файлов для zlib:

Заголовки или библиотека не удалось найти файлы для zlib, необходимая зависимость при компиляции Pillow из исходного кода.

Поэтому вам необходимо установить соответствующую библиотеку zlib-dev.

Для изображения, которое я создаю Я обычно использую следующий фрагмент: 

RUN apk add --update --no-cache --virtual .build-deps \
        gcc \ 
        musl-dev \ 
        make \ 
    && apk add --update --no-cache \
        python3 \
        python3-dev \ 
        krb5-dev \ 
        libxml2-dev \ 
        libxslt-dev \ 
        libffi-dev \
        jpeg-dev \
        zlib-dev \
        libffi-dev \ 
        openssl-dev \
        git \
    && pip3 install --upgrade pip \
    && pip3 install --cache-dir=/pipcache -r requirements.txt && rm -rf /pipcache \
    && apk del .build-deps

Надеюсь, это поможет.

...