Производительность класса, сгенерированная avro-gen - PullRequest
0 голосов
/ 26 мая 2020

Я работаю над проектом, который использует python и сериализует данные с помощью avro. Поскольку схема сложна, я использовал avro-gen для создания классов с использованием avro-схемы. Теперь, когда я создаю и заполняю эти объекты. Мое приложение становится очень медленным, оно генерирует 1000 сообщений за 20 секунд. У меня около 200 тыс. Сообщений, которые я хочу сериализовать и опубликовать sh в kafka.

Как я могу улучшить производительность моего приложения? Я не могу избежать использования avro-gen, и возможно ли это bottle шея?

1 Ответ

1 голос
/ 03 июня 2020

Вы пробовали использовать fastavro ? Обычно это быстрее, чем стандартная python библиотека avro.

...