Как передать данные из Кафки в Кассандру с помощью Nifi? - PullRequest
0 голосов
/ 22 декабря 2018

Я хочу собрать данные из Kafka, используя Nifi в Cassandra.Я создал такой поток для этого. My flow here

Моя конфигурация подключения к базе данных выглядит следующим образом: enter image description here

Это мойконфигурации для моего процессора ConvertJsonToSQL: enter image description here

На моем процессоре ConvertJsonToSQL обнаружена следующая ошибка.

ConvertJSONToSQL [id = d25a7e27-0167-1000-2d9a-2c969b33482a] ConvertJSONToSQL [id = d25a7e27-0167-1000-2d9a-2c969b33482a] не удалось обработать сеанс из-за нуля;Процессор административно сдан в течение 1 секунды: java.lang.NullPointerException

Примечание. Я добавил dbschema jar драйвера в библиотеку Nifi.

Что, по вашему мнению, я должен сделать длярешить эту проблему?

1 Ответ

0 голосов
/ 03 марта 2019

Исходя из доступной информации, трудно устранить ошибку, наиболее вероятной причиной сбоя ConvertJSONToSQL является недопустимый JSON.Всего одна точка из документации :

Ожидается, что входящий FlowFile будет "плоским" сообщением JSON, что означает, что он состоит из одного элемента JSON, и каждое поле отображается напростой тип.

Я не могу видеть, что вы делали в процессоре AttributesToJSON, но я думаю, что твиттер обычно возвращает вложенный JSON, и вы, возможно, недостаточно сгладили его.


Простой общий способ решения этой проблемы - запустить процессоры сверху и проверять очередь до / после каждого процессора, пока не появится что-то, чего вы не ожидаете.

С этим вы должны иметь возможностьчтобы точно определить проблему, и при необходимости вы можете использовать информацию, обнаруженную таким образом, чтобы создать воспроизводимый пример и задать более подробный вопрос.

...