Я пытался запустить задание Spark на кластере из 3 узлов. Каждый рабочий (узел) имеет 10 ГБ ОЗУ и 4 ядра ЦП. Задание Spark состоит из нескольких соединений набора данных.
Проблема, с которой я сталкиваюсь, заключается в том, что, по моему мнению, работа занимает слишком много времени. Когда я проверил страницу пользовательского интерфейса Spark для получения дополнительной информации, я заметил, что для операции тасования только один узел принимает большую часть рабочей нагрузки, тогда как остальная часть кластера почти простаивает.
По моему мнению, одной из проблем, которая вызывает узкое место, является тот факт, что я НЕ установил распределенную файловую систему (HDFS) в кластере, и из-за этого один узел не может получить доступ к кэшированным данным другими узлами, что приводит к к снижению производительности.
Как вы думаете, может быть проблема узкого места?