Итак, я создал рабочий процесс в ApacheNifi, который извлекал вложения электронной почты и преобразовывал файлы csv в файлы json. Я использовал InferAvroSchema до ConvertRecord , чтобы преобразовать CSV в JSON. Все работает хорошо, пока я не получу CSV-файл, который не соответствует авросхеме, которую я написал. Теперь мне нужно найти способ конвертировать CSV в JSON без использования этих двух процессоров, так как форматирование CSV будет меняться время от времени. Формат CSV, с которым я сейчас работаю, я сошлюсь ниже.
Я попытался извлечь текст, но у меня возникли проблемы с написанием правильного регулярного выражения для извлечения значений, соответствующих их заголовкам. Я также попытался AttriutesToJson , но кажется, что он не читает нужные атрибуты. Я знаю, что могу указать, какие атрибуты использовать, но так как заголовки / значения будут постоянно меняться, я не могу найти способ динамически его настроить. Текущий формат CSV