Я новичок в основанном на Java приложении искры.
В настоящее время застрял с проблемой записи java приложения avro и хотел бы получить ваши данные.
Вход для моего Приложение spark в формате avro (скажем, Schema Person, у которого есть дочерний объект Salary)
После загрузки данных avro приложение выполняет некоторую фильтрацию, а затем записывает результирующий набор данных (Same format Person -> Salary) в S3.
Проблема: у входа avro Person есть дочерний объект, скажем Salary, и когда Spark загружает данные, структура преобразует поле имени для S alary как " s alary "(первая буква маленькая).
Теперь мое второе приложение, которое считывает данные, записанные первым приложением, не работает, так как оно ожидает имя в случае верблюда (если я вручную редактирую схему и данные, чтобы сделать это случаем верблюда) , другое приложение прочитало это хорошо)
Вот исключение, которое я получаю, когда я запускаю его на Spark. Причина: org. apache .avro.AvroTypeException: Найдено ком. ad c .salary, ожидая объединения
Я что-то упустил, Любая помощь будет высоко оценена.