Объединить две схемы в одну в Apache nifi - PullRequest
Новая
       15

Объединить две схемы в одну в Apache nifi

0 голосов
/ 05 мая 2018

Я пытаюсь объединить два CSV-файла в JSON с помощью Apache nifi. Два csv - это people.csv, содержащий информацию о людях: 

Id|Name|Surname
ABC-123|John|Smith
ABC-111|Allan|Wood
ABC-001|Grace|Kelly

И второй CSV содержит список событий, которые посетили эти люди: 

EId|PId|Date|Desc
1|ABC-123|2017-05-01|"Groove party"
2|ABC-111|2017-06-01|"Snack No. One"
3|ABC-123|2017-06-01|"The night out"

Я использую поток ( Поток Nifi на git hub ):

  • GetFile
  • UpdateAttribute (schema.name)
  • Разделить записи
  • ExtractText
  • UpdateAttribute (correlation.id, newschema)
  • Воронка
  • MergeRecords / Объединить контент
  • PutFile

Пытаясь добиться окончательного JSON: 

{
"Person": {
    "Id": "ABC-123",
    "Name": "John",
    "Surname": "Smith",
    "Events": [{
        "Date": "2017-05-01",
        "Name": "Groove party"
    }, {
        "Date": "2017-06-01",
        "Name": "The night out"
    }]
}
}

Но я не уверен, как настроить запись слияния или как объединить несколько строк CSV после слияния содержимого в один JSON. Есть ли способ, как это сделать?

1 Ответ

0 голосов
/ 07 мая 2018

Вы можете добиться этого, используя

1- ConvertRecord (от CSV до JSON) - с использованием схемы Avro в вашем случае

CSVReader

JsonRecordSetWriter

AvroSchemaRegistry 

   {
 "name": "person",
 "namespace": "nifi",
 "type": "record",
 "fields": [
 {"name": "Id" , "type" : "string"},
 {"name": "Name" , "type" : "string"},
 {"name": "Surname" , "type" : "string"}
 ]
}
  • 2 - SplitJson
  • 3 - EvaluateJson
  • 4 - LookupAttribute (Get Desc SimpleCsvFileLookupService)
  • 5 - LookupAttribute (Get Date SimpleCsvFileLookupService)
    • 6 - AttriutetoJson
...