Avro сгенерировал проблему класса с преобразованием json [kotlin] - PullRequest
0 голосов
/ 24 июня 2019

У меня странная проблема с маршалингом / демаршаллингом сгенерированного avro класса.Ошибка, которую я получаю, выдает ошибку , а не enum - за исключением того, что в моем классе нет никаких перечислений.

Ошибка именно такая:

com.fasterxml.jackson.databind.JsonMappingException: не перечисление: {"type": "record", "name": "TimeUpdateTopic", "namespace": "org.company.mmd.time", "fields": [{"name": "time", "type": "double"}]} (через цепочку ссылок: org.company.mmd.time.TimeUpdateTopic ["schema"] -> org.apache.avro.Schema $RecordSchema ["enumDefault"])

Контрольный пример

import com.fasterxml.jackson.databind.ObjectMapper
import com.fasterxml.jackson.datatype.jsr310.JavaTimeModule
import org.junit.Test

class TimeUpdateTopicTest {
    val objectMapper = ObjectMapper().registerModule(JavaTimeModule())

    @Test
    fun decode() {
        val t = TimeUpdateTopic(1.0)
        objectMapper.writeValueAsString(t)
    }
}

AVDL

@namespace("org.company.mmd.time")
protocol TimeMonitor {

  record TimeUpdateTopic {
    double time;
  }
}

Java-класс, сгенерированный задачей avro

/**
 * Autogenerated by Avro
 *
 * DO NOT EDIT DIRECTLY
 */
package org.company.mmd.time;

import org.apache.avro.generic.GenericArray;
import org.apache.avro.specific.SpecificData;
import org.apache.avro.util.Utf8;
import org.apache.avro.message.BinaryMessageEncoder;
import org.apache.avro.message.BinaryMessageDecoder;
import org.apache.avro.message.SchemaStore;

@org.apache.avro.specific.AvroGenerated
public class TimeUpdateTopic extends org.apache.avro.specific.SpecificRecordBase implements org.apache.avro.specific.SpecificRecord {
  private static final long serialVersionUID = -4648318619505855037L;
  public static final org.apache.avro.Schema SCHEMA$ = new org.apache.avro.Schema.Parser().parse("{\"type\":\"record\",\"name\":\"TimeUpdateTopic\",\"namespace\":\"org.company.mmd.time\",\"fields\":[{\"name\":\"time\",\"type\":\"double\"}]}");
  public static org.apache.avro.Schema getClassSchema() { return SCHEMA$; }

  private static SpecificData MODEL$ = new SpecificData();

  private static final BinaryMessageEncoder<TimeUpdateTopic> ENCODER =
      new BinaryMessageEncoder<TimeUpdateTopic>(MODEL$, SCHEMA$);

  private static final BinaryMessageDecoder<TimeUpdateTopic> DECODER =
      new BinaryMessageDecoder<TimeUpdateTopic>(MODEL$, SCHEMA$);

  /**
   * Return the BinaryMessageEncoder instance used by this class.
   * @return the message encoder used by this class
   */
  public static BinaryMessageEncoder<TimeUpdateTopic> getEncoder() {
    return ENCODER;
  }

  /**
   * Return the BinaryMessageDecoder instance used by this class.
   * @return the message decoder used by this class
   */
  public static BinaryMessageDecoder<TimeUpdateTopic> getDecoder() {
    return DECODER;
  }

  /**
   * Create a new BinaryMessageDecoder instance for this class that uses the specified {@link SchemaStore}.
   * @param resolver a {@link SchemaStore} used to find schemas by fingerprint
   * @return a BinaryMessageDecoder instance for this class backed by the given SchemaStore
   */
  public static BinaryMessageDecoder<TimeUpdateTopic> createDecoder(SchemaStore resolver) {
    return new BinaryMessageDecoder<TimeUpdateTopic>(MODEL$, SCHEMA$, resolver);
  }

  /**
   * Serializes this TimeUpdateTopic to a ByteBuffer.
   * @return a buffer holding the serialized data for this instance
   * @throws java.io.IOException if this instance could not be serialized
   */
  public java.nio.ByteBuffer toByteBuffer() throws java.io.IOException {
    return ENCODER.encode(this);
  }

  /**
   * Deserializes a TimeUpdateTopic from a ByteBuffer.
   * @param b a byte buffer holding serialized data for an instance of this class
   * @return a TimeUpdateTopic instance decoded from the given buffer
   * @throws java.io.IOException if the given bytes could not be deserialized into an instance of this class
   */
  public static TimeUpdateTopic fromByteBuffer(
      java.nio.ByteBuffer b) throws java.io.IOException {
    return DECODER.decode(b);
  }

  @Deprecated public double time;

  /**
   * Default constructor.  Note that this does not initialize fields
   * to their default values from the schema.  If that is desired then
   * one should use <code>newBuilder()</code>.
   */
  public TimeUpdateTopic() {}

  /**
   * All-args constructor.
   * @param time The new value for time
   */
  public TimeUpdateTopic(java.lang.Double time) {
    this.time = time;
  }

  public org.apache.avro.specific.SpecificData getSpecificData() { return MODEL$; }
  public org.apache.avro.Schema getSchema() { return SCHEMA$; }
  // Used by DatumWriter.  Applications should not call.
  public java.lang.Object get(int field$) {
    switch (field$) {
    case 0: return time;
    default: throw new org.apache.avro.AvroRuntimeException("Bad index");
    }
  }

  // Used by DatumReader.  Applications should not call.
  @SuppressWarnings(value="unchecked")
  public void put(int field$, java.lang.Object value$) {
    switch (field$) {
    case 0: time = (java.lang.Double)value$; break;
    default: throw new org.apache.avro.AvroRuntimeException("Bad index");
    }
  }

  /**
   * Gets the value of the 'time' field.
   * @return The value of the 'time' field.
   */
  public double getTime() {
    return time;
  }


  /**
   * Sets the value of the 'time' field.
   * @param value the value to set.
   */
  public void setTime(double value) {
    this.time = value;
  }

  /**
   * Creates a new TimeUpdateTopic RecordBuilder.
   * @return A new TimeUpdateTopic RecordBuilder
   */
  public static org.company.mmd.time.TimeUpdateTopic.Builder newBuilder() {
    return new org.company.mmd.time.TimeUpdateTopic.Builder();
  }

  /**
   * Creates a new TimeUpdateTopic RecordBuilder by copying an existing Builder.
   * @param other The existing builder to copy.
   * @return A new TimeUpdateTopic RecordBuilder
   */
  public static org.company.mmd.time.TimeUpdateTopic.Builder newBuilder(org.company.mmd.time.TimeUpdateTopic.Builder other) {
    if (other == null) {
      return new org.company.mmd.time.TimeUpdateTopic.Builder();
    } else {
      return new org.company.mmd.time.TimeUpdateTopic.Builder(other);
    }
  }

  /**
   * Creates a new TimeUpdateTopic RecordBuilder by copying an existing TimeUpdateTopic instance.
   * @param other The existing instance to copy.
   * @return A new TimeUpdateTopic RecordBuilder
   */
  public static org.company.mmd.time.TimeUpdateTopic.Builder newBuilder(org.company.mmd.time.TimeUpdateTopic other) {
    if (other == null) {
      return new org.company.mmd.time.TimeUpdateTopic.Builder();
    } else {
      return new org.company.mmd.time.TimeUpdateTopic.Builder(other);
    }
  }

  /**
   * RecordBuilder for TimeUpdateTopic instances.
   */
  public static class Builder extends org.apache.avro.specific.SpecificRecordBuilderBase<TimeUpdateTopic>
    implements org.apache.avro.data.RecordBuilder<TimeUpdateTopic> {

    private double time;

    /** Creates a new Builder */
    private Builder() {
      super(SCHEMA$);
    }

    /**
     * Creates a Builder by copying an existing Builder.
     * @param other The existing Builder to copy.
     */
    private Builder(org.company.mmd.time.TimeUpdateTopic.Builder other) {
      super(other);
      if (isValidValue(fields()[0], other.time)) {
        this.time = data().deepCopy(fields()[0].schema(), other.time);
        fieldSetFlags()[0] = other.fieldSetFlags()[0];
      }
    }

    /**
     * Creates a Builder by copying an existing TimeUpdateTopic instance
     * @param other The existing instance to copy.
     */
    private Builder(org.company.mmd.time.TimeUpdateTopic other) {
      super(SCHEMA$);
      if (isValidValue(fields()[0], other.time)) {
        this.time = data().deepCopy(fields()[0].schema(), other.time);
        fieldSetFlags()[0] = true;
      }
    }

    /**
      * Gets the value of the 'time' field.
      * @return The value.
      */
    public double getTime() {
      return time;
    }


    /**
      * Sets the value of the 'time' field.
      * @param value The value of 'time'.
      * @return This builder.
      */
    public org.company.mmd.time.TimeUpdateTopic.Builder setTime(double value) {
      validate(fields()[0], value);
      this.time = value;
      fieldSetFlags()[0] = true;
      return this;
    }

    /**
      * Checks whether the 'time' field has been set.
      * @return True if the 'time' field has been set, false otherwise.
      */
    public boolean hasTime() {
      return fieldSetFlags()[0];
    }


    /**
      * Clears the value of the 'time' field.
      * @return This builder.
      */
    public org.company.mmd.time.TimeUpdateTopic.Builder clearTime() {
      fieldSetFlags()[0] = false;
      return this;
    }

    @Override
    @SuppressWarnings("unchecked")
    public TimeUpdateTopic build() {
      try {
        TimeUpdateTopic record = new TimeUpdateTopic();
        record.time = fieldSetFlags()[0] ? this.time : (java.lang.Double) defaultValue(fields()[0]);
        return record;
      } catch (org.apache.avro.AvroMissingFieldException e) {
        throw e;
      } catch (java.lang.Exception e) {
        throw new org.apache.avro.AvroRuntimeException(e);
      }
    }
  }

  @SuppressWarnings("unchecked")
  private static final org.apache.avro.io.DatumWriter<TimeUpdateTopic>
    WRITER$ = (org.apache.avro.io.DatumWriter<TimeUpdateTopic>)MODEL$.createDatumWriter(SCHEMA$);

  @Override public void writeExternal(java.io.ObjectOutput out)
    throws java.io.IOException {
    WRITER$.write(this, SpecificData.getEncoder(out));
  }

  @SuppressWarnings("unchecked")
  private static final org.apache.avro.io.DatumReader<TimeUpdateTopic>
    READER$ = (org.apache.avro.io.DatumReader<TimeUpdateTopic>)MODEL$.createDatumReader(SCHEMA$);

  @Override public void readExternal(java.io.ObjectInput in)
    throws java.io.IOException {
    READER$.read(this, SpecificData.getDecoder(in));
  }

  @Override protected boolean hasCustomCoders() { return true; }

  @Override public void customEncode(org.apache.avro.io.Encoder out)
    throws java.io.IOException
  {
    out.writeDouble(this.time);

  }

  @Override public void customDecode(org.apache.avro.io.ResolvingDecoder in)
    throws java.io.IOException
  {
    org.apache.avro.Schema.Field[] fieldOrder = in.readFieldOrderIfDiff();
    if (fieldOrder == null) {
      this.time = in.readDouble();

    } else {
      for (int i = 0; i < 1; i++) {
        switch (fieldOrder[i].pos()) {
        case 0:
          this.time = in.readDouble();
          break;

        default:
          throw new java.io.IOException("Corrupt ResolvingDecoder.");
        }
      }
    }
  }
}

Я что-то делаю глупо и / или неправильно?Или это реальная ошибка

Обновления

Я могу получить JSON с помощью этой функции:

  inline fun <reified T: SpecificRecordBase> StringFromAvroGenerated(obj: T) : String {
        val schema = obj.schema
        val writer = SpecificDatumWriter(T::class.java)
        val stream = ByteArrayOutputStream()
        var jsonEncoder = EncoderFactory.get().jsonEncoder(schema, stream)
        writer.write(obj, jsonEncoder)
        jsonEncoder.flush()
        return stream.toString("UTF-8")
    }

, но я предполагал, что это должно быть автоматически с Джексоном

1 Ответ

1 голос
/ 25 июня 2019

Похоже, есть два способа решения моих проблем (благодаря JsonMappingException при сериализации объекта, сгенерированного avro, в json )

Напишите Джексон MixIn для обработки getSchema call

Итак, первый вариант потребовал от меня создания Mixin, такого как:

abstract class AvroMixIn {
    @JsonIgnore
    abstract fun getSchema(): org.apache.avro.Schema
    @JsonIgnore
    abstract fun getSpecificData() : org.apache.avro.specific.SpecificData
}

А потом, когда я создаю объект сопоставления:

val objectMapper = ObjectMapper()
     .registerModule(JavaTimeModule())
     .addMixIn(Object::class.java, AvroMixIn::class.java)

Я выбрал Object::class.java вместо реального класса, потому что он должен применяться ко всем классам. Вероятно, лучшее решение - применить его к общему базовому классу, который есть у AvroGenerated.

Переписать шаблоны скорости Avro, чтобы автоматически добавить это

На самом деле это первый подход, который я выбрал, потому что он казался более "безразличным".

1) Проверьте проект avro 2) Скопируйте enum.vm, fixed.vm, protocol.vm, record.vm в каталог /avro_templates из основного корня моего проекта. 3) Добавьте свойство @com.fasterxml.jackson.annotation.JsonIgnore в шаблон:

#end
  @com.fasterxml.jackson.annotation.JsonIgnore
  public org.apache.avro.specific.SpecificData getSpecificData() { return MODEL$; }
  @com.fasterxml.jackson.annotation.JsonIgnore
  public org.apache.avro.Schema getSchema() { return SCHEMA$; }
  // Used by DatumWriter.  Applications should not call.

4) Обновите задачу gradle:

avro {
    dateTimeLogicalType="JSR310"
    templateDirectory = "avro_templates/"
}

5) перестроить авро классы

(все теперь работает)

...