отключить хранилище столбцов в хранилище данных Azure SQL

Question

Я записываю фрейм данных из Azure Databricks в хранилище данных sql с

res.write \
    .format("jdbc") \
    .option("url", url) \
    .option("dbtable", table) \
    .option("user", user) \
    .option("password", password) \
    .save()

с этим я получаю ошибку Column 'username' has a data type that cannot participate in a columnstore index.

Как я могу либо полностью исключить хранилище столбцов, либо изменить тип данных столбцов для размещения в хранилище столбцов?

У меня есть несколько столбцов, которые будут считаться целыми, а некоторые - varchar.

Answer 1

Добавьте эту опцию в ваше заявление на запись. Он заменяет предложение with () оператора CREATE TABLE (AS):

.option ("tableOptions","heap,distribution=MY_DISTRIBUTION")

Ссылка здесь:

https://docs.databricks.com/spark/latest/data-sources/azure/sql-data-warehouse.html

Выберите значение для MY_DISTRIBUTION на основе следующих указаний:

https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-tables-distribute