Задание CRON не может найти переменную среды, установленную в docker-compose - PullRequest
Новая
       13

Задание CRON не может найти переменную среды, установленную в docker-compose

0 голосов
/ 18 мая 2018

Я устанавливаю некоторые переменные окружения в docker-compose, которые используются приложением python, выполняемым заданием cron.

docker-compose.yaml: 

version: '2.1'
services:
  zookeeper:
    container_name: zookeeper
    image: zookeeper:3.3.6
    restart: always
    hostname: zookeeper
    ports:
      - "2181:2181"
    environment:
      ZOO_MY_ID: 1
  kafka:
    container_name: kafka
    image: wurstmeister/kafka:1.1.0
    hostname: kafka
    links:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka
      KAFKA_CREATE_TOPICS: "topic:1:1"
      KAFKA_LOG_MESSAGE_TIMESTAMP_TYPE: LogAppendTime
      KAFKA_MESSAGE_TIMESTAMP_TYPE: LogAppendTime
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
  data-collector:
    container_name: data-collector
    #image: mystreams:0.1
    build:
      context: /home/junaid/eMumba/CASB/Docker/data_collector/
      dockerfile: Dockerfile
    links:
      - kafka
    environment:
      - KAFKA_HOST=kafka
      - OFFICE_365_APP_ID=98aff1c5-7a69-46b7-899c-186851054b43
      - OFFICE_365_APP_SECRET=zVyS/V694ffWe99QpCvYqE1sqeqLo36uuvTL8gmZV0A=
      - OFFICE_365_APP_TENANT=2f6cb1a6-ecb8-4578-b680-bf84ded07ff4
      - KAFKA_CONTENT_URL_TOPIC=o365_activity_contenturl
      - KAFKA_STORAGE_DATA_TOPIC=o365_storage
      - KAFKA_PORT=9092
      - POSTGRES_DB_NAME=casb
      - POSTGRES_USER=postgres
      - POSTGRES_PASSWORD=pakistan
      - POSTGRES_HOST=postgres_database
    depends_on:
      postgres_database:
        condition: service_healthy
  postgres_database:
    container_name : postgres_database
    build: 
      context: /home/junaid/eMumba/CASB/Docker/data_collector/
      dockerfile: postgres.dockerfile
    #image: ayeshaemumba/casb-postgres:v3
    #volumes:
    #  - ./postgres/data:/var/lib/postgresql/data
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: pakistan
      POSTGRES_DB: casb
    expose:
      - "5432"
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U postgres"]
      interval: 30s
      timeout: 30s
      retries: 3

Когда я выполняю внутри data-collector контейнера и отображаю любую переменную окружения, я вижу, что она установлена: 

># docker exec -it data-collector sh
># echo $KAFKA_HOST
> kafka

Но мой журнал заданий cron показывает KeyError: 'KAFKA_HOST' Это означает, что задание cronне могу найти переменные окружения.

Теперь у меня есть два вопроса:

1) Почему переменные окружения не установлены для задания cron?

2) Я знаю, что могу передать окружениепеременные в виде сценария оболочки и запускайте его при создании образа.Но есть ли способ передать переменные окружения из docker-compose?

Обновление:

Задание Cron определено в файле Docker для приложения Python.

Dockerfile: 

FROM python:3.5-slim

# Creating Application Source Code Directory
RUN mkdir -p /usr/src/app

# Setting Home Directory for containers
WORKDIR /usr/src/app

# Installing python dependencies
COPY requirements.txt /usr/src/app/
RUN pip install --no-cache-dir -r requirements.txt

# Copying src code to Container
COPY . /usr/src/app

# Add storage crontab file in the cron directory
ADD crontab-storage /etc/cron.d/storage-cron

# Give execution rights on the storage cron job
RUN chmod 0644 /etc/cron.d/storage-cron

RUN chmod 0644 /usr/src/app/cron_storage_data.sh

# Create the log file to be able to run tail
RUN touch /var/log/cron.log

#Install Cron
RUN apt-get update
RUN apt-get -y install cron

# Run the command on container startup
CMD cron && tail -f /var/log/cron.log

crontab-хранилище: 

*/1 * * * * sh /usr/src/app/cron_storage_data.sh
# Don't remove the empty line at the end of this file. It is required to run the cron job

cron_storage_data.sh: 

#!/bin/bash
cd /usr/src/app
/usr/local/bin/python3.5 storage_data_collector.py

1 Ответ

0 голосов
/ 06 декабря 2018

Cron не наследует переменные окружения docker-compose по умолчанию.Возможный обходной путь для этой ситуации:

1.Передача переменных среды из docker-compose в локальный файл .env 

touch .env
echo "export KAFKA_HOST=$KAFKA_HOST" > /usr/src/app/.env

2. source файл .envдо выполнения задачи cron 

* * * * * <username> . /usr/src/app/.env && sh /usr/src/app/cron_storage_data.sh

Вот как будет выглядеть файл среды обновления:

До: 

{'SHELL': '/bin/sh', 'PWD': '/root', 'LOGNAME': 'root', 'PATH': '/usr/bin:/bin', 'HOME': '/root'}

После: 

{'SHELL': '/bin/sh', 'PWD': '/root', 'KAFKA_HOST': 'kafka', 'LOGNAME': 'root', 'PATH': '/usr/bin:/bin', 'HOME': '/root'}
...