Отсутствуют пакеты Python в контейнере Docker - PullRequest
Новая
       28

Отсутствуют пакеты Python в контейнере Docker

4 голосов
/ 13 июня 2019

Я работаю над ноутбуком tenorflow в контейнере Docker. Я управляю дополнительными зависимостями через pipenv, который я устанавливаю на этапе сборки контейнера. Как ни странно, некоторые пакеты, которые я явно устанавливаю, например, «certifi», не отображаются в среде python.

Я уже пытался установить его с помощью pip в команде RUN, переключил Python-версии Pipfile и добавил почти все в переменные PATH и PYTHONPATH env. Как ни странно, если я войду в контейнер и сделаю это вручную, он будет работать как шарм. 

---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
<ipython-input-1-06bc95e4104d> in <module>
      6 # data wrangling
      7 import json
----> 8 import spacy
      9 from langdetect import detect
     10 import psycopg2

~usr/local/lib/python3.5/dist-packages/spacy/__init__.py in <module>
     10 from thinc.neural.util import prefer_gpu, require_gpu
     11 
---> 12 from .cli.info import info as cli_info
     13 from .glossary import explain
     14 from .about import __version__

~usr/local/lib/python3.5/dist-packages/spacy/cli/__init__.py in <module>
----> 1 from .download import download  # noqa: F401
      2 from .info import info  # noqa: F401
      3 from .link import link  # noqa: F401
      4 from .package import package  # noqa: F401
      5 from .profile import profile  # noqa: F401

~usr/local/lib/python3.5/dist-packages/spacy/cli/download.py in <module>
      3 
      4 import plac
----> 5 import requests
      6 import os
      7 import subprocess

~usr/local/lib/python3.5/dist-packages/requests/__init__.py in <module>
    110 from .__version__ import __copyright__, __cake__
    111 
--> 112 from . import utils
    113 from . import packages
    114 from .models import Request, Response, PreparedRequest

~usr/local/lib/python3.5/dist-packages/requests/utils.py in <module>
     22 
     23 from .__version__ import __version__
---> 24 from . import certs
     25 # to_native_string is unused here, but imported here for backwards compatibility
     26 from ._internal_utils import to_native_string

~usr/local/lib/python3.5/dist-packages/requests/certs.py in <module>
     13 packaged CA bundle.
     14 """
---> 15 from certifi import where
     16 
     17 if __name__ == '__main__':

ImportError: No module named 'certifi'

Кто-нибудь уже сталкивался с подобной проблемой?

Минимальная настройка для воспроизведения будет следующей:

докер-compose.yaml: 

version: '3.1'
services:

  notebook:
    container_name: Notebook
    build:
      context: .
      dockerfile: Dockerfile
    ports:
      - "5430:8888"
    user: ${CURRENT_UID}

Dockerfile: 

FROM tensorflow/tensorflow:latest-py3-jupyter

RUN pip install --user pipenv
ENV PATH="/root/.local/bin:/.local/bin:${PATH}"
ENV PYTHONPATH="/usr/lib/python35.zip:/usr/lib/python3.5:/usr/lib/python3.5/plat-x86_64-linux-gnu:/usr/lib/python3.5/lib-dynload:/.local/lib/python3.5/site-packages:/usr/local/lib/python3.5/dist-packages:/usr/lib/python3/dist-packages:${PYTHONPATH}"

RUN apt-get update
RUN apt-get install -y libsm6 libxext6 libxrender-dev libglib2.0-0 postgresql libpq-dev

# We copy just the requirements.txt first to leverage Docker cache
COPY ./Pipfile ./Pipfile
COPY ./Pipfile.lock ./Pipfile.lock

RUN pipenv install --deploy --system --ignore-pipfile
RUN python -m spacy download xx

RUN pip install --user certifi

Pipfile: 

[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"

[packages]
numpy = "*"
scikit-learn = {extras = ["alldeps"]}
spacy = "*"
langdetect = "*"
ipykernel = "*"
bokeh = "*"
ipywidgets = "*"
plotly = "*"
lapjv = "*"
tensorflow = "*"
"psycopg2" = "*"
gensim = "*"
cmake = "*"
certifi = "*"

[dev-packages]

[requires]
python_version = "3.5"

Блокировка Pip-файла с помощью pipenv lock, сборка и приведение контейнера в действие с помощью docker-compose up --build и вход в контейнер показывает, что пакет certifi не установлен. Помощь будет принята с благодарностью!

1 Ответ

0 голосов
/ 13 июня 2019

Из вашего dockerfile похоже, что certifi устанавливается после того, как вы запустите spacy, который из трассировки стека, кажется, полагается на certifi 

RUN python -m spacy download xx

RUN pip install --user certifi

переключить порядок этих строк, чтобы установить его перед запуском скриптачто зависит от него.

Кроме того, убедитесь, что все настроено для использования python3, или явно используйте python3 и pip3

...