Как я могу удалить / обновить определенные строки в таблице улья, используя spark SQL? - PullRequest
Новая
       42

Как я могу удалить / обновить определенные строки в таблице улья, используя spark SQL?

0 голосов
/ 11 апреля 2020

При использовании свечи SQL поверх улья я получаю это сообщение об ошибке. 

pyspark.sql.utils.ParseException: u'\nOperation not allowed: DELETE from(line 1, pos 0)\n\n== SQL 
==\nDELETE from  abc.test WHERE 1=1 (any Condition)

Есть ли способ вызвать delete для таблицы улья, используя spark SQL, когда таблица разбита на разделы, объединена в блоки и хранится в формате OR C с транзакционным значением true для TBLProperties. В настоящее время я использую версию spark 2.4

Вот подробности таблицы, 

CreateTime:             Sat Apr 11 23:36:24 PKT 2020
LastAccessTime:         UNKNOWN
Retention:              0
Location:               hdfs://abc/user/hive/warehouse/abc.db/test
Table Type:             MANAGED_TABLE
Table Parameters:
        COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
        numFiles                202
        numPartitions           3
        numRows                 0
        rawDataSize             0
        spark.sql.create.version        2.4.0-cdh6.1.1
        spark.sql.sources.schema.bucketCol.0    PROD_KEY
        spark.sql.sources.schema.numBucketCols  1
        spark.sql.sources.schema.numBuckets     3
        spark.sql.sources.schema.numPartCols    1
        spark.sql.sources.schema.numParts       1
        spark.sql.sources.schema.part.0 {......
        totalSize               17372139
        transactional           true
        transient_lastDdlTime   1586630184

# Storage Information
SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde
InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
Compressed:             No
Num Buckets:            3
Bucket Columns:         [PROD_KEY]
Sort Columns:           []
Storage Desc Params:
...