Я пытаюсь использовать библиотеку, которая использует твиттер finagle . Он работает без проблем на стороне водителя, но застревает на исполнителях.
В некоторых версиях finagle есть эта ошибка, из-за которой он застревает, если встречается с циклом соединения при обходе каталогов. Кажется, библиотека проверяет все каталоги в рабочем каталоге или, по крайней мере, все каталоги в пути к классам.
Проблема возникает только на стороне исполнителя, поскольку Spark копирует jar и файлы, указанные в -Dspark.filesв корневую папку (/), которая также содержит каталоги, такие как /sys или /proc, с циклами.
Есть ли способ указать Spark использовать другой каталог для рабочего каталога? Или, может быть, я должен изменить свой образ Docker? В настоящее время это простой образ Centos с установленной Java. Пользователь просто root, но Spark использует /, а не дом пользователя root (/root).