Я работаю над Databricks / Spark с помощью sparklyr. Я использую tbl-соединение с моими данными через набор преобразований данных, а затем хочу записать результат в базу данных Databricks. Я не хочу collect() его, так как он медленный и лишает смысла использование sparklyr. Мне известно о функции compute(), но две вещи у меня не работают.
Я установил значение «временное» = FALSE, но оно все еще записывается как временная таблица, а не как постоянная. Если оно сохранялось, имя таблицы должно появиться, когда я нажимаю «Данные» на левой панели (в Databricks), но его там нет.
compute() не позволит Я указываю схему и буду писать только в схему по умолчанию. Я не могу сделать это по умолчанию, это должно быть в указанной мной схеме. Когда я пытаюсь использовать префикс схемы для имени таблицы, я получаю сообщение об ошибке: «Не разрешено добавлять префикс базы данных« my_schema_name »для ВРЕМЕННОГО имени представления». Опять же, мой временный аргумент был установлен на ЛОЖЬ.
Есть ли способ добиться этого без использования compute()? Или мне что-то не хватает в compute()?