Я пишу protobuf в Parquet с помощью ProtoParquetWriter, я также пишу в локальную HDFS и пишу только один файл для каждого parquetWriter.
мой код работает в среде больших данных.
проблема в том, что примерно через 30 минут работы я начинаю получать следующее исключение:
java.lang.ClassCastException: org.apache.parquet.io.MessageColumnIO не может быть приведен к org.apache.parquet.io.PrimitiveColumnIO в org.apache.parquet.io.MessageColumnIO $ MessageColumnIORecordConsumer.getColumnWriter (MessageColumnIO.java:432) в org.apache.parquet.io.MessageColumnIO $ MessageColumnIgord.olg.apache.parquet.proto.MessageWriter.writeAllFields (ProtoWriteSupport.java:229) в org.apache.parquet.proto.ProtoWriteSupport $ MessageWriter.writeTopLevelMessage (ProtoWriteSupport.java:194)
Я напечатал сообщение, которое вызывает эту ошибку, и я не вижу никаких проблем с ним.
Есть идеи?