Что это за «разделение» в Hive и что мне здесь делать?

Question

У меня есть файл со следующими столбцами, для которого меня просят «разделить на основе даты извлечения». «Извлечь дату» - это столбец в файле. Вот столбцы в файле:

1. Дата выписки
2. имя
3. место
4. Дата выписки

Теперь у меня есть этот файл в моей директории Unix.

Что именно меня здесь просят?

Answer 1

Разделение - это функция в Hive, предназначенная для нацеливания на набор записей из вашей таблицы.

Сначала вы создаете секционированную таблицу на основе столбца «Извлечь дату», как показано ниже

create table <table_name> 
(
name string,
location string
)
partitioned by (extract_date string)
stored as TEXTFILE;

При этом будет создана ваша секционированная таблица.

Теперь, чтобы загрузить данные из файла в вашу таблицу, есть много способов сделать это,

1. Загрузка с использованием статического механизма разбиения

2. Загрузка с использованием динамического раздела путем выбора данных из другой таблицы и т. Д.