Мои усилия не работают: /usr/local/spark/spark-2.3.2-bin-hadoop2.7/bin/spark-submit --driver-memory 6g - пакеты org.apache.spark: spark-streaming-kafka-0-8_2.11: 2.3.2 runspark.py && bokeh serve --show bokeh_app
runspark.py содержит экземпляры spark, а bokeh_app - это папка приложения сервера bokeh.spark используется для обновления фрейма данных потокового dask.
ЧТО ПРОИСХОДИТ: экземпляр spark запускается, загружается, как обычно, без сервера bokeh.Однако, как только приложение сервера bokeh запускает (то есть) открывается веб-страница, экземпляр spark закрывается.Он не возвращает никаких ошибок в выводе консоли.ВЫХОД НИЖЕ:
2018-11-26 21:04:05 ИНФОРМАЦИЯ ContextHandler: 781 - Запущен osjsServletContextHandler @ 4f0492c9 {/ static / sql, null, В НАЛИЧИИ, @ Spark} 2018-11-26 21:04:06 ИНФОРМАЦИЯ StateStoreCoordinatorRef: 54 - Зарегистрированная конечная точка StateStoreCoordinator 2018-11-26 21:04:06 ИНФОРМАЦИЯ SparkContext: 54 - Вызов stop () из ловушки отключения 2018-11-26 21:04:06 ИНФОРМАЦИЯ AbstractConnector: 318 - Остановленная Spark @ 4f3c4272{HTTP / 1.1, [http / 1.1]} {0.0.0.0:4041} 2018-11-26 21:04:06 ИНФОРМАЦИЯ SparkUI: 54 - Веб-интерфейс Spark остановлен в http://192.168.1.25:4041 2018-11-26 21: 04: 06 INFO MapOutputTrackerMasterEndpoint: 54 - MapOutputTrackerMasterEndpoint остановлен!2018-11-26 21:04:06 INFO MemoryStore: 54 - MemoryStore очищен 2018-11-26 21:04:06 INFO BlockManager: 54 - BlockManager остановлен 2018-11-26 21:04:06 INFO BlockManagerMaster: 54 - BlockManagerMasterостановлен 2018-11-26 21:04:07 INFO OutputCommitCoordinator $ OutputCommitCoordinatorEndpoint: 54 - OutputCommitCoordinator остановлен!2018-11-26 21:04:07 ИНФОРМАЦИЯ SparkContext: 54 - успешно остановлен SparkContext 2018-11-26 21:04:07 ИНФОРМАЦИЯ ShutdownHookManager: 54 - вызов прерывания вызван 2018-11-26 21:04:07 ИНФОРМАЦИЯ ShutdownHookManager: 54- Удаление каталога / tmp / spark-c42ce0b3-d49e-48ce-962c-277b42166267 2018-11-26 21:04:07 INFO ShutdownHookManager: 54 - Удаление каталога / tmp / spark-bd448b2e-6b0f-467a-9e43-689542cf611-26 21:04:07 ИНФОРМАЦИЯ ShutdownHookManager: 54 - Удаление каталога / tmp / spark-bd448b2e-6b0f-467a-9e43-689542c42a6f / pyspark-117d2a10-7cb9-4eb3-b4d0-f92f9046522c 2018-11-2608,542 Запуск сервера Bokeh версии 0.13.0 (работает на Tornado 5.1.1) 2018-11-26 21: 04: 08,547 Приложение Bokeh работает с: http://localhost:5006/aion_analytics 2018-11-26 21: 04: 08,547 Запуск сервера Bokehс идентификатором процесса: 10769