Как читать большой файл avro без загрузки всего файла в память

Question

Я хочу прочитать большой файл avro размером 2,5 ГБ. В настоящее время я использую

new DataFileReader<>(readFile, userDatumReader);

, который загружает в память весь файл размером 2,5 ГБ.

Есть ли способ прочитать большой avro-файл без загрузки всего файла в память?

Answer 1

• 1000 Avro не должен держать его в памяти. Возможно ли, что вы сохраняете данные в коллекции или сохраняете ссылку в своем коде? Это, конечно, предотвратит сборку мусора.

Другой способ, которым Avro может прочитать все содержимое файла в память, - это если в файле Avro есть только одна запись размером 2,5 ГБ ... может захотеть пересмотреть свой дизайн для хранения данных!