Я хочу протестировать коды, которые будут читать файлы орков непосредственно из определенной таблицы улья. Поэтому в модульном тесте я запустил искру в локальном режиме и установил spark.sql.warehouse.dir
для искры, создал таблицу и сохранил в ней некоторые данные. Наконец, я вызвал метод для чтения данных файла orc по пути, который я прошел. Модульный тест обычно выполняется в intellij и в одиночном тесте через maven, но при тестировании всех модульных тестов в кластере он не сможет найти файл orc на диске. Я проверил, нет ли на диске данных, сгенерированных при запуске модульного теста. Есть ли какой-нибудь метод, позволяющий спарку сохранять данные для немедленного хранения?