Как привести Object [] в Row []?

Question

Я считываю данные JSON из файла в Dataset следующим образом (Spark 2.2.2, Java):

Dataset<Row> df = spark.read().json(filePath).as(Encoders.bean(Row.class));

Я хочу собрать строки в драйвере.

Row[] rows = df.collect();

Функция collect() возвращает Object[].Как я могу привести к Row[]?

Answer 1

Вы можете использовать метод DataSet.collectAsList(), чтобы получить List, который можно преобразовать в типизированный массив.Однако это приведет к дополнительному выделению памяти для списка:

List<Row> list = df.collectAsList();
Row[] arr = list.toArray(new Row[0]);