Я использую кластер EMR с Spark / Livy и хотел бы протестировать Spark Structured Streaming.Я использую управляемую службу Jupyter Notebook (подключается через Livy), однако, когда я пробую этот код в Jupyter:
query = (wordCounts
.writeStream
.queryName("streamingDF")
.outputMode('complete')
.format('memory')
.start())
, я получаю следующую ошибку:
Произошла ошибка во времявызов o98.start.: org.apache.hadoop.security.AccessControlException: В доступе отказано: пользователь = livy, доступ = WRITE, inode = "/ mnt / tmp": hadoop: hadoop: drwxr-xr-x
Каки на что я могу изменить разрешение, поскольку Ливий, кажется, записывает временные данные в HDFS.Я думал, что с опцией «память» он пишет в драйвер, а не на диск.