мигать при ошибке пряжи "У пряжи только -1 доступно виртуальное ядро" - PullRequest
Новая
       3

мигать при ошибке пряжи "У пряжи только -1 доступно виртуальное ядро"

0 голосов
/ 23 октября 2018

Я установил Cloudera CDH 6, а затем хочу установить flink с помощью пакета с веб-сайта flink и запустить его «flink on yarn».

У меня есть следующие шаги: 1. отредактировать / etc/ profile

export HADOOP_CONF_DIR = / opt / cloudera / parcels / CDH-6.0.0-1.cdh6.0.0.p0.537114 / lib / hadoop / etc / hadoop

execute ./yarn-session.sh -n 4 -jm 2048 -tm 2048 -s 3 -nm FlinkOnYarnSession -d -st

Но это всегда показывает:

Количество виртуальных ядер на узел было настроено на 4, но в Yarn доступно только -1 виртуальное ядро.Обратите внимание, что количество виртуальных ядер по умолчанию установлено равным количеству слотов задач, если только это не сконфигурировано в конфигурации Flink с помощью 'yarn.containers.vcores.'

Это новый кластер, и задание не выполняетсяи я вижу в веб-интерфейсе пряжи доступно 20 vcores.

Пожалуйста, помогите с этой проблемой.Большое спасибо!

enter image description here

1 Ответ

0 голосов
/ 23 октября 2018

Это связано с ошибкой в ​​flink, а подробности можно посмотреть здесь: https://issues.apache.org/jira/browse/FLINK-5542

В версии flink 1.6.1 я решил эту проблему, изменив yarn-site.yml и добавив cpu-Параметр vcores. 

vim $HADOOP_CONF_DIR/yarn-site.yml

добавить свойство yarn.nodemanager.resource.cpu-vcores, например, установить его на 8. 

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
</property>
...