читать данные из указанного c раздела набора данных в spark java - PullRequest
Новая
       25

читать данные из указанного c раздела набора данных в spark java

0 голосов
/ 03 марта 2020

Я хочу прочитать данные из каждого раздела в искре набора данных java

 loadedCompanyModelDf.foreachPartition(p -> {
      Iterable<Row> rowIt = () -> p;
      List<Row> objs = StreamSupport.stream(rowIt.spliterator(), true)
                            .filter(row -> row.size() > 0)
                            .collect(Collectors.toList());

 });

, гдеloadedCompanyModelDf - набор данных. Я хочу получить доступ к данным в каждом разделе как набор данных. Как преобразовать список в набор данных Может ли кто-нибудь предоставить какие-либо входы для этого .?

...