Использование NumPy из хост-ОС для спарк-контейнера - PullRequest
0 голосов
/ 29 мая 2019

Я хочу использовать образ Docker с Apache Spark в Ubuntu 18.04.

Более популярное изображение из хаба имеет Spark 1.6 . Второе изображение имеет более свежую версию Spark 2.2

Ни на одном образе не установлено numpy Базовые примеры для Spark Основное руководство MLlib требует его.

Я попытался запустить Dockerfile для неудачной установки numpy, добавив его в исходный образ Dockerfile для Spark 2.2:

RUN apt-get install python-numpy python-scipy python-matplotlib ipython ipython-notebook python-pandas python-sympy python-nose

Как настроить контейнер на использование простой установки ОС? Какая процедура? Это правильное направление вообще?

Редактировать: ОС Ubuntu 18.04

1 Ответ

1 голос
/ 30 мая 2019

Dockerfile:

FROM p7hb/docker-spark

RUN apt-get update && apt install -y python-numpy

Команда построения:

docker build -t my_image .

Запуск контейнера:

docker run -it --rm my_image /bin/bash

Проверьте numpy:

root@55ce4c59122c:~# python
Python 2.7.13 (default, Jan 19 2017, 14:48:08)
[GCC 6.3.0 20170118] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy
>>> print(numpy.__version__)
1.12.1
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...