Apache Spark Dataset конвертирует - PullRequest
Новая
       0

Apache Spark Dataset конвертирует

0 голосов
/ 22 января 2019

Моя цель - объединить 2 таблицы.Как я могу сделать это в Java?

Я получаю ошибку при использовании этого кода.

public class App {
    public static void main(String[] args) {
        System.setProperty("hadoop.home.dir", "C:\\hadoop-common-2.2.0-bin-master");

        SparkSession sparkSession = SparkSession.builder().appName("SQL").master("local").getOrCreate();
        final Properties cp = new Properties();
        cp.put("user", "root");
        cp.put("password", "1234");

        Dataset<Row> studentData = sparkSession.read().jdbc("jdbc:mysql://localhost:3306/dd", "student", cp);
        Dataset<Row> schoolData = sparkSession.read().jdbc("jdbc:mysql://localhost:3306/dd", "school", cp);

        Dataset<Ogrenci> studentDS = studentData.as(Encoders.bean(Ogrenci.class));
        Dataset<Okul> schoolDS = schoolData.as(Encoders.bean(Okul.class));


        Dataset<Row> resultDS = studentDS.joinWith(schoolDS, studentData.col("schoolId") == schoolDS.col("id")).drop("schoolId"); ??

        resultDS.show();

    }
}
...