Как определить схему искры для списка объектов, т.е. StructType?

Question

Я использую spark- sql -2.3.1v с java8 в моем проекте. Я пытаюсь определить схему для декодирования потребления моего сообщения из потока kafka.

У меня есть

class Company{
    String companyName;
    Integer companyId;
}

, который я определил как

public static final StructType companySchema = new StructType(
              .add("companyName", DataTypes.StringType)
              .add("companyId", DataTypes.IntegerType);

Но сообщение определено как

class Message{
    private List<Company> companyList;
    private String messageId;
}

Я пытался определить как

public static final StructType messageSchema = new StructType()
            .add("companyList", List(companySchema)),true)
            .add("messageId", DataTypes.StringType);

Это приводит к ошибке в списке. Так как должна определяться эта схема? любая помощь, пожалуйста ...

Answer 1

ниже работал.

public static final StructType messageSchema = new StructType()
            .add("companyList", DataTypes.createArrayType(companySchema, false),false)
            .add("messageId", DataTypes.StringType);