org.apache.spark.sql.DataFrameWriter # save Не удается записать в Temp Dir на Mac - PullRequest
0 голосов
/ 25 октября 2018

У меня есть тестовый пример Scala, который сохраняет фрейм данных во временный каталог с помощью метода org.apache.spark.sql.DataFrameWriter#save.

Tempdir получается в коде scala с помощью вызова java.lang.System#getProperty("java.io.tmpdir").

Это прекрасно работает на моем компьютере с Linux (Ubuntu) и на других компьютерах с Windows.Но когда я пытаюсь запустить этот же тестовый пример на моем Mac, я получаю сообщение об ошибке: java.io.IOException: Failed to create local dir in /private/var/folders/l1/60qsk0rn37g79qxc39_46qkc0000gn/T/blockmgr-73419176-04da-416c-9299-f0b12349818f/0e

Я использую последнюю версию Mac OS 10.14 (Mojave).Только что обновил вчера.

Я также использую: com.holdenkarau:spark-testing-base_2.10:1.5.0_0.6.0 и org.apache.spark:spark-core_2.10:1.6.0

Вот пастбин полной трассировки стека: https://pastebin.com/7rGb3ffc

df -h /private/var/folders/l1/60qsk0rn37g79qxc39_46qkc0000gn/T/ Filesystem Size Used Avail Capacity iused ifree %iused Mounted on /dev/disk1s1 234Gi 139Gi 92Gi 61% 932432 9223372036853843375 0% /

ls -ld /private/var/folders/l1/60qsk0rn37g79qxc39_46qkc0000gn/T/ drwxr-xr-x 24 <me> staff 768 Oct 25 12:51 /private/var/folders/l1/60qsk0rn37g79qxc39_46qkc0000gn/T/

whoami <me>

Как мне заставить Mac OS дать мне правильный каталог tmp?

...