Spark: эффективный способ установки значения withColum из базы данных. - PullRequest
Новая
       7

Spark: эффективный способ установки значения withColum из базы данных.

0 голосов
/ 01 июля 2019

Попытка выяснить эффективный способ создания нового столбца набора данных из другой базы данных.

Работает нормально с функцией Map <> (), но это трудоемкий процесс. 

Dataset<Row> resultDF = inputDF.map(
                   new MapFunction<Row, Row>() {
                   @Override
                    public Row call(Row row) throws Exception {
                     String param = row.getString(input.schema().fieldIndex("column2"));
                    String newColumn = callDatabase(dbConnection, param);
                    row.add(newColumn)
                     }
                   }

);

Пробовал использовать UDF, но не удалось создать соединение с базой данных.

Есть ли другой способ реализации этого?

...