TBLPROPERTIES ('skip.header.line.count' = '1') не работает на sparkThrift, подключенном из билайна с кустом jdbc 1.2.1

Question

Я использую spark 2.3 и подключаю sparkThrift с помощью beeline.

Hive jdbc версии 1.2.1 Spark SQL версии 2.3.1

Я пытаюсь создать внешнюю таблицу со свойством заголовка пропуска, ноКоманда select всегда возвращает данные с заголовком в качестве первой строки, ниже мой запрос на создание

CREATE EXTERNAL TABLE datasourcename11(
`retail_invoice_detail_sys_invoice_no` STRING,
`store_id` STRING,
`retail_invoice_detail_invoice_time` STRING,
`retail_invoice_detail_invoice_date` string,
`cust_id` STRING,
`article_code` INTEGER,
`retail_invoice_detail_base_price` INTEGER,
`retail_invoice_detail_sale_price` INTEGER,
`retail_invoice_detail_quantity` DOUBLE,
`retail_invoice_detail_total_amount` DOUBLE
) 
ROW FORMAT DELIMITED  FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n'  
LOCATION '/home/java_services/backend/demo/' 
TBLPROPERTIES('skip.header.line.count'=1);

Answer 1

Это свойство skip.header.line.count=1 поддерживается только в Hive.

Обходной путь должен использовать фильтр

retail_invoice_detail_sys_invoice_no!=<col name in header>