Как указать расположение таблицы deltalake в потоковой структурированной искре? - PullRequest
0 голосов
/ 27 июня 2019

У меня есть входящие потоковые данные, которые я сохраняю как таблицу deltalake, используя следующий код:

cast_dataframe.writeStream.format("delta").outputMode("append")
.option("checkpointLocation",checkpointLocation)
.table(databasename+"."+tablename)

Здесь database - это имя базы данных, а tablename - это имя таблицы, используемой для создания таблицы..

Когда я использую show, создайте таблицу , чтобы показать схему таблицы, поле местоположения указывает на случайное местоположение, что-то вроде этого abfs: //storageaccount@storageaccount.dfs.core.net/default/db_name/table_name.Однако я хочу указать местоположение на мое указанное местоположение.Как я могу это сделать?

Я попробовал описанный ниже подход, но он не сработал.

 cast_dataframe.writeStream.format("delta").outputMode("append")
 .option("checkpointLocation",checkpointLocation)
 .table(databasename+"."+tablename)
  .save(my_specified_location)

Но описанный выше подход не работает.Пожалуйста, помогите мне с этим.

1 Ответ

0 голосов
/ 28 июня 2019

.table и .save являются действиями и просто не могут использоваться одновременно. На самом деле это не имеет ничего общего с дельта-источником данных.


В официальной документации в Таблица Delta Lake в качестве раковины вы можете найти следующее:

.start("/delta/events") // as a path

, что, кажется, в точности соответствует вашему «Однако я хочу указать местоположение на мое указанное местоположение.»

...