Как найти openjdk в контейнере Docker? - PullRequest
Новая
       54

Как найти openjdk в контейнере Docker?

0 голосов
/ 24 декабря 2018

Я попытался запустить приложение pyspark. Для этого сначала я установил pyspark из pip, а затем вытащил openjdk: 8, чтобы установить переменную JAVA_HOME

Dockerfile: 

FROM python:3

ADD my_script.py /
COPY requirements.txt ./

ENV JAVA_HOME  /usr/lib/jvm/java-8-openjdk-amd64/

RUN pip install --no-cache-dir -r requirements.txt

CMD [ "python", "./my_script.py" ]

my_script.py:

from pyspark import SparkContext
from pyspark import SparkConf

#spark conf
conf1 = SparkConf()
conf1.setMaster("local[*]")
conf1.setAppName('hamza')
print(conf1)
sc = SparkContext(conf = conf1)


from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
print(sqlContext)

Requirements.txt:

pyspark

numpy

Получение этой ошибки: 

C:\Users\hrafiq\Desktop\sample>docker run -it --rm --name data2 my-python-app
<pyspark.conf.SparkConf object at 0x7f4bd933ba58>
/usr/local/lib/python3.7/site-packages/pyspark/bin/spark-class: line 71: 
/usr/lib/jvm/java-8-openjdk-amd64//bin/java: No such file or directory
Traceback (most recent call last):
   File "./my_script.py", line 14, in <module>
    sc = SparkContext(conf = conf1)
  File "/usr/local/lib/python3.7/site-packages/pyspark/context.py", line 115, in __init__
    SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
  File "/usr/local/lib/python3.7/site-packages/pyspark/context.py", line 298, in _ensure_initialized
    SparkContext._gateway = gateway or launch_gateway(conf)
  File "/usr/local/lib/python3.7/site-packages/pyspark/java_gateway.py", line 94, in launch_gateway
    raise Exception("Java gateway process exited before sending its port number")
Exception: Java gateway process exited before sending its port number

Итак, вопросЕсли не найти файл Java, то как я могу найти этот файл?Я знаю, что он хранится на каком-то виртуальном жестком диске, к которому у нас нет доступа.

Буду признателен за любую помощь

Спасибо

1 Ответ

0 голосов
/ 24 декабря 2018

Установка JAVA_HOME env var недостаточна.Вам действительно нужно установить openjdk внутри вашего образа докера.

Ваш базовый образ (python: 3) сам по себе основан на образе Debian Stretch.Таким образом, вы можете использовать apt-get install для получения JDK: 

FROM python:3

RUN apt-get update && \
     apt-get install -y openjdk-8-jdk-headless && \
    rm -rf /var/lib/apt/lists/*
ENV JAVA_HOME  /usr/lib/jvm/java-8-openjdk-amd64/

COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt

COPY my_script.py ./
CMD [ "python", "./my_script.py" ]

(Выше я оптимизировал порядок слоев, так что вам не нужно будет перестраивать слой установки pip, когда только вашизменения скрипта)

...