Вернуть данные из foreachPartition Java Spark - PullRequest
Новая
       27

Вернуть данные из foreachPartition Java Spark

0 голосов
/ 21 января 2019

Я конвертирую набор искровых данных в список хеш-карт, используя следующий подход 

List<HashMap> finalJsonMap = new ArrayList<HashMap>();
srcData.foreachPartition(new ForeachPartitionFunction<Row>() {
    public void call(Iterator<Row> t) throws Exception {
        while (t.hasNext()){
            Row eachRow = t.next();
            HashMap rowMap = new HashMap();
            for(int j=0;j<grpdColNames.size();j++){
                rowMap.put(grpdColNames.get(j), eachRow.getString(j));  
            }
            finalJsonMap.add(rowMap);
        }
    }
});

Итерация работает нормально, но я не могу добавить rowMap в finalJsonMap.

Что такоелучший подход для этого?

...