необязательный массив в схеме avro - PullRequest
Новая
       15

необязательный массив в схеме avro

11 голосов
/ 23 февраля 2012

Мне интересно, возможно ли иметь необязательный массив.Давайте предположим, что схема выглядит следующим образом: 

{ 
    "type": "record",
    "name": "test_avro",
    "fields" : [
        {"name": "test_field_1", "type": "long"},
        {"name": "subrecord", "type": [{
         "type": "record",
         "name": "subrecord_type",
           "fields":[{"name":"field_1", "type":"long"}]
          },"null"]
    },
    {"name": "simple_array",
    "type":{
        "type": "array",
        "items": "string"
      }
    }
  ]
}

Попытка записи записи avro без "simple_array" приведет к NPE в файле записи данных.Для подзаписи это просто отлично, но когда я пытаюсь определить массив как необязательный: 

{"name": "simple_array",
 "type":[{
   "type": "array",
   "items": "string"
   }, "null"]

Это не приводит к NPE, а исключению времени выполнения: 

AvroRuntimeException: Not an array schema: [{"type":"array","items":"string"},"null"]

Спасибо.

1 Ответ

19 голосов
/ 31 марта 2012

Я думаю, что вы хотите здесь объединение нулей и массивов: 

{
    "type":"record",
    "name":"test_avro",
    "fields":[{
            "name":"test_field_1",
            "type":"long"
        },
        {
            "name":"subrecord",
            "type":[{
                    "type":"record",
                    "name":"subrecord_type",
                    "fields":[{
                            "name":"field_1",
                            "type":"long"
                        }
                    ]
                },
                "null"
            ]
        },
        {
            "name":"simple_array",
            "type":["null",
                {
                    "type":"array",
                    "items":"string"
                }
            ],
            "default":null
        }
    ]
}

Когда я использую вышеупомянутую схему с примерами данных в Python, вот результат (schema_string - приведенная выше строка json): 

>>> from avro import io, datafile, schema
>>> from json import dumps
>>> 
>>> sample_data = {'test_field_1':12L}
>>> rec_schema = schema.parse(schema_string)
>>> rec_writer = io.DatumWriter(rec_schema)
>>> rec_reader = io.DatumReader()
>>> 
>>> # write avro file
... df_writer = datafile.DataFileWriter(open("/tmp/foo", 'wb'), rec_writer, writers_schema=rec_schema)
>>> df_writer.append(sample_data)
>>> df_writer.close()
>>> 
>>> # read avro file
... df_reader = datafile.DataFileReader(open('/tmp/foo', 'rb'), rec_reader)
>>> print dumps(df_reader.next())
{"simple_array": null, "test_field_1": 12, "subrecord": null}
...