Использование Nifi 1.8.0 для преобразования XML в CSV и использование ValidateRecord для изоляции только «плохих» записей.
После ValidateRecord изменяется порядок полей внутри записей XML.
Является ли этоошибка или я пропустил какую-то конфигурацию?
Здравствуйте
У меня есть следующий рабочий процесс: FetchFile -> SplitXml -> ValidateRecord -> ConvertRecords ...
Моя схема avroвыглядит следующим образом:
{
"type": "record",
"name": "record_tag",
"fields" : [
{"name": "id", "type": ["null","string"]},
{"name": "firstname", "type": ["null","string"]},
{"name": "lastname", "type": ["null","string"]},
{"name": "birthdate", "type": ["null","string"]},
{"name": "birthcity", "type": ["null","string"]},
{"name": "birthstate", "type": ["null","string"]},
{"name": "street_number", "type": ["null","string"]},
{"name": "street", "type": ["null","string"]},
{"name": "city", "type": ["null","string"]},
{"name": "acronym", "type": ["null","string"]},
{"name": "state", "type": ["null","string"]},
{"name": "email", "type": ["null","string"]},
{"name": "data1", "type": ["null","string"]},
{"name": "data2", "type": ["null","string"]},
{"name": "data3", "type": ["null","string"]},
{"name": "data4", "type": ["null","string"]},
{"name": "data5", "type": ["null","string"]},
{"name": "data6", "type": ["null","string"]},
{"name": "date", "type": ["null","string"]},
{"name": "number", "type": ["null","string"]}
]
}
До ValidateRecord порядок полей XML соответствует схеме. После того, как порядок XML ValidateRecord последовательно
date
firstname
birthdate
data6
birthcity
data5
city
acronym
data4
data3
data2
data1
lastname
number
street
birthstate
street_number
id
state
email
Я пробовал разные подходы: использование schema_text/ схема реестра и проблема все еще там.
С уважением