Я только что заметил, что мой Spark на YARN все работает на локальном компьютере, его рабочий каталог настроен на HDFS.Да, у меня есть вся система Hadoop, настроенная на моем компьютере и использующая сценарии запуска всех сценариев, которые запускают все.Я использую Hadoop для других вещей.
Однако я никогда не устанавливал рабочий каталог для YARN или Spark вручную.К моему удивлению, поскольку я использую структурную потоковую интеграцию Kafka, и на данный момент папка контрольных точек относительно рабочего каталога, я обнаружила папку контрольных точек в HDFS и не понимаю, как это возможно?