Spark настраиваемая схема & jdb c неправильно отображает данные - PullRequest
0 голосов
/ 20 января 2020

Код ниже печатает имена столбцов вместо данных.

    SparkConf sparkConf = new SparkConf().setAppName("SparkSQL-Analysis").setSparkHome("C:\\work\\spark-2.4.4-bin-hadoop2.7").setMaster("local[*]");

    JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);

    SparkSession sparkSession = SparkSession.builder().sparkContext(javaSparkContext.sc()).appName("SparkSQL").getOrCreate();

    Dataset<Row> jdbcDF = sparkSession.read().format("jdbc")
              .option("url", "jdbc:mariadb://localhost:4406/cra")
              .option("dbtable", "rpm_user")
              .option("user", "root")
              .option("password", "XXXXXX")
              .option("customSchema", "RU_CRD string, RU_CONTACT_NUMBER string, RU_UPD string")
              .load();

    jdbcDF.show();

    javaSparkContext.close();

Чего мне не хватает?

Вывод

1 Ответ

0 голосов
/ 21 января 2020

Нашел решение здесь Как читать данные из mariadb, используя Spark java

Переход с jdb c: mariadb: // localhost: 4406 / cra на jdb c: mysql: // localhost: 4406 / cra исправил мою проблему.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...