DWH Connector допускает не более 256 символов в строковом столбце - PullRequest
Новая
       22

DWH Connector допускает не более 256 символов в строковом столбце

0 голосов
/ 18 июня 2019

У меня проблема с тем, что у меня есть PySpark Dataframe со строковыми столбцами, содержащими более 256 символов, иногда даже более 4000 символов. Когда я использую соединитель DWH для записи данных в хранилище данных, он не может сказать «Строковые или двоичные данные могут быть усечены». Это код, который я использую: 

pySparkDataFrame.write \
.format("com.databricks.spark.sqldw") \
.mode("append") \
.option("url", dwhConnectorDWHConnectionString) \
.option("forwardSparkAzureStorageCredentials", "true") \
.option("dbTable", feed + "Staging." + "TableName") \
.option("tempDir", dwhConnectorTempBlobDirectory) \
.save()

Я уже пытался установить опцию "maxStrLength" на 4000 и 40000, но это не помогло. Единственное, что сработало, это отфильтровывало все, что длиннее 256 символов в запросе на импорт.

...