Объемы роя Docker с блеском? - PullRequest
Новая
       8

Объемы роя Docker с блеском?

0 голосов
/ 10 июня 2018

У меня есть настройка Docker Swarm для узлов данных HDFS следующим образом (усечено): 

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8
    volumes:
      - datanode:/hadoop/dfs/data
    deploy:
      mode: global
      placement:
        constraints: [ node.role == worker ]
  volumes:
    datanode:

Каждый контейнер датодода имеет связанный том датододы, который в настоящее время хранится в / var / lib / docker / volume.(локально для каждого узла).У меня есть доступ к гораздо большей (и более быстрой) файловой системе блеска, и я пытаюсь понять, как можно хранить тома в файловой системе блеска.

Один из возможных вариантов - использовать символическую ссылку / var / lib / docker / volume в / luster / nodeN (где N - номер физического узла), но кажется, что namenode не сможет обработать перезапуск стека, посколькуданные (потенциально) будут перемещены на другой узел.

Существует ли док-диск для поддержки томов докера в файловых системах блеска в рое?Если нет, то как команды управляют сохранением данных тома докера для таких систем, как HDFS?

1 Ответ

0 голосов
/ 11 июня 2018

Боюсь, что нет , если я вас неправильно понял, потому что driver: lustre или аналогичный не существует для конфигурации докера так же, как он существует для nfs, например: 

volumes:
   db-data:
      driver: local
      driver_opts:
        type: <here is where you could try to put lustre, but it doesn't exist>
        o: addr=$IPADDR,rw
        device: ":/hadoop/dfs/data"

Итак, если вы рассматриваете следующую схему, попробуйте использовать luster-graph-driver

enter image description here https://github.com/bacaldwell/lustre-graph-driver/blob/master/lustre-graph-driver.jpg

Более подробная информация в Lustre-Graph-Driver HOWTO

...