Nifi PutHiveStreaming записывает данные в HDFS, но не может видеть данные в таблице Hive.

Question

1. Я использую HDF Nifi 1.5 и Hdp Hive 3.1.

2. Создание таблицы разделений и группирования в Hive:

Создать таблицу транзакционный '=' истинно ');

3. Используется ExecuteSQL -> PutHiveStreaming

Журнал Nifi показывает данные, записанные в путь HDFS, но я не могу просмотреть данные в таблице Hive.

Пожалуйста, найдите прикрепленный для nifi-app.log.

Answer 1

Если вы используете HDP Hive 3.1, то вам понадобится PutHive3Streaming, а не PutHiveStreaming. Первый предназначен для Hive 3, второй - для Hive 1.2.x.

Сказав это, компоненты Hive 3 доступны начиная с NiFi 1.7.0+. Также, если вы используете дистрибутив Apache NiFi, он не включает Hive 3 NAR по умолчанию (из-за его размера). Вам придется создать его самостоятельно или использовать тот, который предназначен для HDF (для использования с HDP Hive 3), вы можете получить версию HDF 3.2 (NiFi 1.7.0), версию здесь .