Клей AWS: java.lang.UnsupportedOperationException: источник данных CSV не поддерживает двоичный тип данных - PullRequest
Новая
       10

Клей AWS: java.lang.UnsupportedOperationException: источник данных CSV не поддерживает двоичный тип данных

0 голосов
/ 23 апреля 2019

Я пытаюсь реализовать upsert с aws glue и databricks, используя preactions и postactions, вот код ниже 

sample_dataframe.write.format("com.databricks.spark.redshift")\
  .option("url", "jdbc:redshift://staging-db.asdf.ap-southeast-1.redshift.amazonaws.com:5439/stagingdb?user=sample&password=pwd")\
  .option("preactions", PRE_ACTION)\
  .option("postactions", POST_ACTION)\
  .option("dbtable", temporary_table)\
  .option("extracopyoptions", "region 'ap-southeast-1'")\
  .option("aws_iam_role", "arn:aws:iam::1234:role/AWSService-Role-ForRedshift-etl-s3")\
  .option("tempdir", args["TempDir"])\
  .mode("append")\
  .save()

Я получаю следующую ошибку 

py4j.protocol.Py4JJavaError: An error occurred while calling o90.save.
: java.lang.UnsupportedOperationException: CSV data source does not support binary data type.
at org.apache.spark.sql.execution.datasources.csv.CSVUtils$.org$apache$spark$sql$execution$datasources$csv$CSVUtils$$verifyType$1(CSVUtils.scala:127)
at org.apache.spark.sql.execution.datasources.csv.CSVUtils$$anonfun$verifySchema$1.apply(CSVUtils.scala:131)
at org.apache.spark.sql.execution.datasources.csv.CSVUtils$$anonfun$verifySchema$1.apply(CSVUtils.scala:131)
at scala.collection.Iterator$class.foreach(Iterator.scala:893)

Может быть, я что-то пропустил.Пожалуйста, помогите TIA.

Я также пытался передать preactions и postactions как connection_options (ниже), и это тоже, похоже, не работает 

redshift_datasink = glueContext.write_dynamic_frame_from_jdbc_conf(frame = sample_dyn_frame, catalog_connection='Staging' , connection_options = connect_options, redshift_tmp_dir = args["TempDir"], transformation_ctx = "redshift_datasink")
...