Проблема в создании образа докера с помощью pyspark lib - PullRequest
0 голосов
/ 18 июня 2019

Я пытаюсь создать образ докера, используя s2i и Jenkins. У меня есть следующие зависимости в requirement.txt файле

scikit-learn==0.21.2
scipy==0.18.1
pandas==0.24.2
seldon-core==0.3.0
pypandoc
pyspark==2.4.1

Но мой процесс сборки завершается неудачно, когда он пытается установить pyspark со следующим сообщением об ошибке

Downloading https://repo.company.com/repository/pypi-all/packages/f2/64/a1df4440483df47381bbbf6a03119ef66515cf2e1a766d9369811575454b/pyspark-2.4.1.tar.gz (215.7MB)
Complete output from command python setup.py egg_info:
Could not import pypandoc - required to package PySpark
Download error on https://pypi.org/simple/pypandoc/: [Errno 97] Address 
family not supported by protocol -- Some packages may not be found!
Couldn't find index page for 'pypandoc' (maybe misspelled?)
Download error on https://pypi.org/simple/: [Errno 97] Address family not 
supported by protocol -- Some packages may not be found!
No local packages or working download links found for pypandoc
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/tmp/pip-install-dra7nhke/pyspark/setup.py", line 224, in <module>
'Programming Language :: Python :: Implementation :: PyPy']
File "/usr/local/lib/python3.6/site-packages/setuptools/__init__.py", line 
144, in setup
_install_setup_requires(attrs)
File "/usr/local/lib/python3.6/site-packages/setuptools/__init__.py", line 
139, in _install_setup_requires
...

, хотя я перечислил pypandoc до pyspark в файле Requirments.txt, но похоже, что при установке pyspark pypandoc еще не установлен, что является зависимостью. В чем проблема?

...