Мы тестируем потоковую передачу данных для эволюции схемы Avro.
Вывод записывается в файлы Avro и должен обрабатывать изменения схемы. Мы попытались использовать обновленную схему avro, используя функцию обновления задания потока данных, а также функцию моментального снимка. Оба они потерпели неудачу. Есть ли какой-либо предпочтительный способ обработки изменений схемы Avro в потоковом конвейере без простоя.
(Ниже приведена ошибка при использовании моментального снимка)
java.lang.ArrayIndexOutOfBoundsException: 55
org.apache.avro.io.parsing.Symbol$Alternative.getSymbol(Symbol.java:460)
org.apache.avro.io.ResolvingDecoder.readIndex(ResolvingDecoder.java:283)
org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:178)