Получить Spark workerId в работе java spark - PullRequest
0 голосов
/ 09 октября 2018

Я использую Spark в локальном режиме.SparkEnv.get().executorId() всегда возвращает мне строку «драйвер».Я ожидал, что он будет уникальным для каждого работника / исполнителя.

Я загружаю файл в облако внутри каждого исполнителя, и мне нужно каждый раз придумывать уникальное имя файла.Я думал добавить 1004 *.Но так как это всегда возвращает мне драйвер, я не знаю, как лучше всего получить уникальный идентификатор.

...