Удалите лишние строки из файла, используя скрипт Hive

Question

У меня есть несколько текстовых файлов, некоторые из них имеют заголовок, некоторые нет, а некоторые имеют дополнительные строки до начала фактической записи. Есть ли способ убрать лишние строки. В основном я создаю внешнюю таблицу, используя файл в указанном месте. Любые ссылки будут действительно полезны.

По существу, нет определенного c количества строк, над которыми расположены заголовки, иначе я мог бы пропустить заголовки, используя

tblproperties ("skip .header.line.count "=" 1" )

Answer 1

В этом случае поможет только фильтрация. Отфильтруйте заголовки во время выбора из таблицы:

select t.* 
  from your_table t
 where t.col not in ('header_value1','header_value2','header_value3')

, это также отфильтрует NULL. Чтобы разрешить NULL, добавьте OR t.col is NULL