У меня работает автономный искровой кластер (1 мастер и 5 рабочих) в kubernetes, и я делаю искровую передачу в режиме кластера. Но я получаю UnknownHostException
Причина: java .io.IOException: Не удалось подключиться к sw-care-alice-staging-f4c869 cc -4tkpb: 46105 Причина: : java. net .UnknownHostException: sw-care-alice-staging-f4c869 cc -4tkpb
Вот моя команда spark-submit
spark-2.4.3-bin-hadoop2.7/bin/spark-submit --class LogParser.LogBundleConfigFetcher --conf spark.submit.deployMode=cluster --conf spark.network.timeout=300 --conf spark.scheduler.mode=FAIR --conf spark.master=spark://sm-care-alice-staging:7077 --conf spark.executor.cores=5 --conf spark.executor.memory=20g --conf spark.dynamicAllocation.maxExecutors=3 --conf spark.driver.memory=16g --conf spark.dynamicAllocation.enabled=false --conf spark.cores.max=15 http://minio.platform.svc.cluster.local:9000/alice-care/staging/config/spark/aliceparser.jar
ПРИМЕЧАНИЕ. Отлично работает в режиме клиента. Но в кластерном режиме, если я добавляю записи хоста Spark-worker в / etc / host вручную, он работает нормально. Я хочу избежать ручного добавления хоста. Пожалуйста, предложите любой подход к тому же.