Как запустить файл составления docker с измененным файлом конфигурации telegraf?

Question

Я пытаюсь запустить файл docker compose на MacOS для запуска Telegraf, Mosquitto (MQTT), Grafana и InfluxDB. Я пытаюсь запустить Telegraf с измененным файлом конфигурации. Конечная цель - хранить и отображать данные, посылаемые с датчика мышц Arduino.

Файл компоновки docker в настоящее время выглядит следующим образом:

version: '3'

services: 
  influxdb:
    container_name: influxdb
    image: influxdb
    ports:
        - "8086:8086"
    environment:
      - INFLUXDB_DB=sensors
      - INFLUXDB_ADMIN_USER=telegraf
      - INFLUXDB_ADMIN_PASSWORD=telegraf
    restart: always

  telegraf: 
    image: telegraf
    restart: always
    ports: 
      - "5050:5050"
    volumes:
    - $PWD/telegraf.conf:/etc/telegraf/telegraf.conf:ro  

  grafana: 
    container_name: grafana
    image: grafana/grafana
    links:
      - influxdb
    hostname: grafana
    ports:
        - "3000:3000"

  mosquitto:
    container_name: mosquitto
    image: eclipse-mosquitto
    ports:
      - "1883:1883"
      - "9001:9001"
    depends_on: 
      - influxdb
    restart: always

Я могу запустить команду сборки, и Mosquitto, Grafana и InfluxDB, кажется, все работают, однако есть ряд проблем с Telegraf. Независимо от того, какие изменения внесены в том в файле compose, используется файл конфигурации по умолчанию для Telegraf, в отличие от моей измененной конфигурации, которая, по-видимому, предотвращает отправку данных в InfluxDB.

Сообщение Telegraf об ошибке в InfluxDB выглядит следующим образом:

telegraf     | 2020-03-03T11:40:49Z E! [outputs.influxdb] When writing to [http://localhost:8086]: Post http://localhost:8086/write?db=telegraf: dial tcp 127.0.0.1:8086: connect: connection refused
telegraf     | 2020-03-03T11:40:49Z E! [agent] Error writing to outputs.influxdb: could not write any address

Кажется, что Mosquitto работает, поскольку приложение MQTT.fx может подключаться и публиковать / подписываться на контейнер. Однако существуют регулярные соединения, которые устанавливаются и сбрасываются с неизвестным именем.

Следующая ошибка соединения постоянно регистрируется:

mosquitto    | 1583247033: New connection from 172.25.0.1 on port 1883.
mosquitto    | 1583247033: Client <unknown> disconnected due to protocol error.

Я подумал о написании файла настройки Telegraf для настройки файла конфигурации, однако это мне кажется, что это излишне, так как я понимаю, что раздел тома файла compose должен позволять использовать этот файл конфигурации.

Мой файл telegraf.conf находится в том же каталоге, что и файл docker -compose.yml .

Вопрос в том, а) Правильно ли я считаю, что контейнер использует файл телеграфа по умолчанию? Б) Как получить измененный файл telegraf.conf для контейнера

Answer 1

Не имея вашего конфигурационного файла telegraf, нелегко определить, правильно ли он загружается и есть ли проблемы с сетью ...

Я нахожу вместо использования: $PWD/telegraf.conf:/etc/telegraf/telegraf.conf:ro, имеет смысл включить файлы конфигурации для docker в локальном подкаталоге: .docker/telegraf/telegraf.conf:/etc/telegraf/telegraf.conf:ro.

Если вы хотите использовать полный путь с PWD, я предлагаю ${PWD}. Исходя из моего опыта, $PWD использует переменную из вашего терминала (вы можете проверить, назначена ли она с echo $PWD), где ${PWD} фактически запускает рабочий каталог печати и выводит результат (вы можете проверить с помощью терминала, используя echo ${PWD}.

Для полноты, этот стек (основанный на датчике BME280 и Ardunio) должен работать (в целях безопасности - я изменил учетные данные, поэтому, если он не работает, начните там!). I Я прокомментировал это для моей собственной справки, поэтому надеюсь, что это поможет вам:

version: '3'

# To Do:
# - Setup defined networks to protect influxdb and telegraf
# - Define a backup process for data
# - Monitor implications of version tags/docker container lifecycles

services: 

    # MQTT Broker, handles data from sensors
    # https://hub.docker.com/_/eclipse-mosquitto
    mosquitto:
        # Name this container so other containers can find it easily
        # Name used in: 
        # - Telegraf config
        container_name: mosquitto
        image: eclipse-mosquitto:1.6
        ports:
            - "1883:1883"
            - "9001:9001"
        depends_on: 
            - influxdb
        restart: always
        volumes:
            # Use a volume for storage
            # since influxdb stores data long term this might not be needed?
            - mosquitto-storage:/mosquitto/data

    # Data storage
    # https://hub.docker.com/_/influxdb
    influxdb:
        # Name this container so other containers can find it easily
        # Name used in: 
        # - Grafana data source 
        # - Telegraf config
        container_name: influxdb
        image: influxdb:1.5
        ports:
            - "8086:8086"
        environment:
            - INFLUXDB_DB=sensors
            - INFLUXDB_ADMIN_USER=admin-user
            - INFLUXDB_ADMIN_PASSWORD=telegraf-admin-password
            - INFLUXDB_USER=telegraf-username
            - INFLUXDB_PASSWORD=telegraf-password
        restart: always
        volumes:
          # Data persistence (could also be a bind mount: /srv/docker/influxdb/data:/var/lib/influxdb)
          - influxdb-storage:/var/lib/influxdb
          # Backups...
          - ./influxdb-backup:/backup
          # Host can run the following on a crontab, then rsnapshot can pickup:
          # docker exec -it influxdb influxd backup -database sensors /backup

    # Message formattet (MQTT -> InfluxDB)
    # https://hub.docker.com/_/telegraf
    telegraf: 
        image: telegraf:1.11
        restart: always
        ports: 
            - "5050:5050"
        depends_on: 
            - influxdb
        volumes:
            # This file needs edited with your MQTT topics, host, etc
            - .docker/telegraf/telegraf.conf:/etc/telegraf/telegraf.conf:ro

    # Dashboard/graphing
    # https://hub.docker.com/r/grafana/grafana
    grafana: 
        # Grafana tags are a mess! just use whatever...
        image: grafana/grafana
        links:
            - influxdb
        hostname: grafana
        ports:
            - "3000:3000"
        depends_on: 
            - influxdb
        volumes:
            # Grafana gets grumpy over bind mount permissions, use a volume
            - grafana-storage:/var/lib/grafana

volumes:
    mosquitto-storage:
    influxdb-storage:
    grafana-storage:

И мой конфигурационный файл для telegraf выглядит следующим образом:

[[inputs.mqtt_consumer]]
  servers = ["tcp://mosquitto:1883"]

  topics = [
    "home/sensor/bme280/temperature",
  ]

  username = "mqttuser"
  password = "mqttpassword"
  data_format = "value"
  data_type = "float"

[[outputs.influxdb]]

  urls = ["http://influxdb:8086"]
  database = "sensors"
  skip_database_creation = true
  timeout = "5s"
  username = "telegraf-username"
  password = "telegraf-password" 
  user_agent = "telegraf"
  udp_payload = "512B"

Обратите внимание, что я использую контейнер имена вместо локального IP-адреса в docker.