Наши записи из Кафки. Каждая запись выводится из schemaless_writer , а также идентификатора схемы. Конечно, нам нужно сначала удалить идентификатор схемы из каждой записи. Затем мы должны преобразовать эти записи (двоичные файлы без идентификатора схемы) в avro OCF, который является Avro Object Container File . Мне нужно прочитать пакет записей и преобразовать их в OCF.
Мы используем fastavro для подготовки OCF:
buf = BytesIO()
w = Writer(buf, schema)
Но я понятия не имею как записать эти записи в buf после завершения заголовка.
Может быть, я должен использовать Writer и write_block ? Как я могу преобразовать каждую запись в Block как объект?
Или я могу использовать write () ? Но я не видел никаких кодов для установки маркера syn c.
Спасибо