Spark записывает в Hive ошибочное имя_таблицы как спецификацию раздела и выдает ошибку «Спецификация раздела содержит столбцы без разделов» - PullRequest
Новая
       54

Spark записывает в Hive ошибочное имя_таблицы как спецификацию раздела и выдает ошибку «Спецификация раздела содержит столбцы без разделов»

1 голос
/ 10 ноября 2019

Моя таблица Hive была определена с PARTITIONED BY (ds STRING, model STRING) И при записи в таблицу в PySpark я сделал 

output_df
  .repartition(250)
  .write
  .mode('overwrite')
  .format('parquet')\
  .partitionBy('ds', 'model')\
  .saveAsTable('{table_schema}.{table_name}'.format(table_schema=table_schema, 
  table_name=table_name))

Однако я столкнулся со следующей ошибкой: 

org.apache.hadoop.hive.ql.metadata.Table.ValidationFailureSemanticException: Partition spec {ds=2019-10-06, model=p1kr, table_name=drv_projection_table} contains non-partition columns

КажетсяИскра или Улей ошибочно table_name как раздел. Мой S3-путь к таблице - s3://some_path/qubole/table_name=drv_projection_table, но table_name не был указан как часть раздела.

...