Я пытаюсь получить некоторые данные из дистрибутива Cloudera Quick Start Hadoop (для нас виртуальная машина Linux) в нашей базе данных SAP HANA, используя SAP Spark Controller. Каждый раз, когда я запускаю задание в HANA, оно застревает, и я вижу следующее предупреждение, которое регистрируется непрерывно каждые 10-15 секунд в файле журнала SPARK Controller, если только я не уничтожу задание.
WARN org.apache.spark.scheduler.cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
Несмотря на то, что оно зарегистрировано как предупреждение, похоже, что это проблема, которая препятствует выполнению задания на Cloudera. Из того, что я прочитал, это либо проблема с управлением ресурсами на Cloudera, либо проблема с заблокированными портами. В нашем случае у нас нет заблокированных портов, поэтому он должен быть первым.
Наш Cloudera работает с одним узлом и имеет 16GB RAM с 4 CPU cores.
Глядя на общую конфигурацию, у меня есть куча предупреждений, но я не могу определить, имеют ли они отношение к проблеме или нет.
Вот также, как ОЗУ распределяется на Cloudera
Было бы замечательно, если бы вы могли помочь мне точно определить причину этой проблемы, потому что в последние несколько дней я безуспешно пробовал разные комбинации вещей.
Спасибо,
Димитар