Абсолютно новый для этих технологий и ценим некоторое понимание проблемы, с которой я сталкиваюсь.Я скачал spark 2.4, собрал его на Ubuntu (вместо Alpine в соответствии с рекомендациями) и попытался запустить на своем тестовом кластере kubernetes.Поскольку tini недоступен, я изменил последнюю строку по умолчанию для entrypoint.sh на следующую: exec "${CMD[@]}" ( исходный файл )
Причина заключается в том, что tini packageнедоступно в Ubuntu.Я не уверен, работает ли это или нет, но конечный результат, когда я делаю spark-submit:
- Мой модуль драйвера создан
- Модуль Executor продолжает завершаться и перезапускаться.
Все, что я вижу в своих журналах драйверов:
2019-02-19 19:47:52 INFO ExecutorPodsAllocator:54 - Going to request 1 executors from Kubernetes.
2019-02-19 19:47:52 INFO Utils:54 - Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 7079.
2019-02-19 19:47:52 INFO NettyBlockTransferService:54 - Server created on spark-pi-1550605656705-driver-svc.125874-poc.svc:7079
2019-02-19 19:47:52 INFO BlockManager:54 - Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
2019-02-19 19:47:53 INFO BlockManagerMaster:54 - Registering BlockManager BlockManagerId(driver, spark-pi-1550605656705-driver-svc.125874-poc.svc, 7079, None)
2019-02-19 19:47:53 INFO BlockManagerMasterEndpoint:54 - Registering block manager spark-pi-1550605656705-driver-svc.125874-poc.svc:7079 with 1007.8 MB RAM, BlockManagerId(driver, spark-pi-1550605656705-driver-svc.125874-poc.svc, 7079, None)
2019-02-19 19:47:53 INFO BlockManagerMaster:54 - Registered BlockManager BlockManagerId(driver, spark-pi-1550605656705-driver-svc.125874-poc.svc, 7079, None)
2019-02-19 19:47:53 INFO BlockManager:54 - Initialized BlockManager: BlockManagerId(driver, spark-pi-1550605656705-driver-svc.125874-poc.svc, 7079, None)
2019-02-19 19:47:53 INFO ContextHandler:781 - Started o.s.j.s.ServletContextHandler@5fcfca62{/metrics/json,null,AVAILABLE,@Spark}
2019-02-19 19:47:56 INFO ExecutorPodsAllocator:54 - Going to request 1 executors from Kubernetes.
2019-02-19 19:47:56 INFO BlockManagerMaster:54 - Removal of executor 1 requested
2019-02-19 19:47:56 INFO KubernetesClusterSchedulerBackend$KubernetesDriverEndpoint:54 - Asked to remove non-existent executor 1
2019-02-19 19:47:56 INFO BlockManagerMasterEndpoint:54 - Trying to remove executor 1 from BlockManagerMaster.
2019-02-19 19:47:58 INFO BlockManagerMasterEndpoint:54 - Trying to remove executor 2 from BlockManagerMaster.
Я предполагаю, что это связано с моей точкой входа, но я не уверен, как отладить и выяснитьосновная причина.
Для записи это работает на alpine с tini в скрипте точки входа.