Позвольте мне попытаться объяснить несколько проблем, которые я вижу впереди.
- Похоже, что ваш желаемый вывод ожидает некоторые данные, которые являются частью местоположения файла пути, устройства и датчика, однако он не определен как часть вашего определения таблицы, только столбцы в определении таблицы или виртуальные столбцы будут доступны.
- Несколько небольших файлов могут повлиять на производительность ваших запросов (но это не повлияет на желаемый результат)
- Разделы Hive используются для повышения производительности запросов, избегая сканирования всех данных.Разделы указывают на папки, в этом случае вы пытаетесь получить доступ к определенным файлам
- Ваш желаемый вывод в основном разбивает 1 запись в нескольких записях, это не должно обрабатываться при определении таблицы, может быть выполнено через ваш выбороператор
- Разделы Hive имеют соглашение об именах
partitionname=partitionvalue, это не обязательно, но полезно, если вы хотите воспользоваться командами для автоматического добавления разделов на основе структуры папок.
Вот как я бы решил вашу проблему, если вы будете выполнять в основном запросы по датчику или устройству
Измените структуру ваших данных
В идеале структура вашей папки должна исходить из
farm_iot/sensor_data/farm/farm0001/sensor01/1541252701443
на farm_iot / sensor_data / farm / device = farm0001 / sensor = sensor01 / 1541252701443
Измените определение таблицы
Определение таблицы должно содержать расположение разделов набыть в состоянии выбрать его без регулярных выражений и воспользоваться его улучшением производительности (я предполагаю, что общий запрос будет фильтроваться по устройству или датчику. В дополнение к этому вам нужно добавить все ваши столбцы json, которые являются частью вашего файла
CREATE EXTERNAL TABLE IF NOT EXISTS farm.sensor_data (
temperature double,
preassure double,
humidity double
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1'
) LOCATION 's3://farm-iot/sensor_data/farm/'
PARTITIONED BY (device string, sensor string)
TBLPROPERTIES ('has_encrypted_data'='false')
Запрос ваших данных
Нам не хватает отметки времени, которая, по сути, является частью вашего имени файла при вводе json. Мы можем включить имя файла во время оператора select, используя виртуальный столбец INPUT__FILE__NAME следующим образом
select device, sensor, temperature, preassure, humidity, INPUT__FILE__NAME as mytimestamp from farm.sensor_data
Если вам нужны давление, температура, влажность и разные ряды, я бы порекомендовал вамЕсли вы сгружаете массив с этими тремя и разбираете его, должно быть намного эффективнее запускать 3 запроса, используя UNION ALL для добавления результатов
Добавление нового раздела
Если вы следуете соглашению Hive, вы можете взятьпреимущество команды msck repair table для автоматического добавления новых разделов после включения новых устройств / датчиков.В худшем случае, если вы хотите сохранить структуру папок, вы можете добавить разделы следующим образом:
ALTER TABLE test ADD PARTITION (device='farm0001', sensor='sensor01') location 's3://farm_iot/sensor_data/farm/farm0001/sensor01'
ПРИМЕЧАНИЕ: новые разделы не будут добавляться автоматически, вам всегда нужно добавлять их
Я попытался добавить как можно больше деталей.Если что-то не понятно, дайте мне знать.
РЕДАКТИРОВАТЬ: если ваши запросы будут в основном основаны на временных рядах (например, диапазон дат), я бы порекомендовал добавить раздел на уровне дня (не меньше этого), чтобы повысить производительность ваших запросов.Таким образом, определение вашей таблицы будет выглядеть следующим образом:
CREATE EXTERNAL TABLE IF NOT EXISTS farm.sensor_data (
temperature double,
preassure double,
humidity double
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1'
) LOCATION 's3://farm-iot/sensor_data/farm/'
PARTITIONED BY (dt=long, device string, sensor string)
TBLPROPERTIES ('has_encrypted_data'='false')
Структура вашей папки будет выглядеть следующим образом:
farm_iot / sensor_data / farm / dt = 20191204 / device = farm0001 / sensor = sensor01 / 1541252701443
Как пояснение, вам не нужно изменять таблицу для каждого нового раздела, только добавляйте эти разделы в таблицу, это то, как Hive будет знать, что создан новый раздел.Если вы решите использовать разделы, это единственный способ, если вы этого не сделаете (это повлияет на производительность), есть другие альтернативы, чтобы заставить его работать
EDIT2:
ЕслиВы хотите сохранить свою структуру данных как есть и не использовать разделы, можно получить ожидаемые результаты следующим образом:
CREATE EXTERNAL TABLE IF NOT EXISTS yourdb.sensordata (
temperature double,
pressure double,
humidity double
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1'
)
LOCATION 's3://farm-iot/sensor_data/farm/'
TBLPROPERTIES ('has_encrypted_data'='false');
SET hive.mapred.supports.subdirectories=TRUE;
SET mapred.input.dir.recursive=TRUE;
select * from yourdb.sensordata;
select
split(input__file__name, "/")[size(split(input__file__name, "/")) - 1] as ts,
split(input__file__name, "/")[size(split(input__file__name, "/")) - 3] as device,
split(input__file__name, "/")[size(split(input__file__name, "/")) - 2] as sensor,
'temperature' as data_point,
temperature as value
from yourdb.sensordata
union all
select
split(input__file__name, "/")[size(split(input__file__name, "/")) - 1] as ts,
split(input__file__name, "/")[size(split(input__file__name, "/")) - 3] as device,
split(input__file__name, "/")[size(split(input__file__name, "/")) - 2] as sensor,
'pressure' as data_point,
pressure as value
from yourdb.sensordata
union all
select
split(input__file__name, "/")[size(split(input__file__name, "/")) - 1] as ts,
split(input__file__name, "/")[size(split(input__file__name, "/")) - 3] as device,
split(input__file__name, "/")[size(split(input__file__name, "/")) - 2] as sensor,
'humidity' as data_point,
humidity as value
from yourdb.sensordata;
Как видите, я получаю большую часть информации из пути к файлуоднако необходимо установить некоторые флаги, чтобы Hive рекурсивно читал папки
ts,device,sensor,_data_point,value
1541252701443,farm0001,sensor01,temperature,14.78
1541252701443,farm0001,sensor01,pressure,961.7
1541252701443,farm0001,sensor01,humidity,68.32