Проблемы со Spark и Postgres - PullRequest
0 голосов
/ 01 октября 2019

Источник: https://severalnines.com/database-blog/big-data-postgresql-and-apache-spark пошагово:

Привет, Сообщество. Я работаю с Apacha Spark для крупномасштабной обработки данных.

У меня проблема с использованием Spark с Postgresql. Я получил ошибки при попытке создать DateFrame:

scala> **val query1df = spark.read.jdbc(url, query1, connectionProperties)**
query1df: org.apache.spark.sql.DataFrame = [id: int, name: string]

org.postgresql.util.PSQLException: El servidor requiere autenticación basada en contraseña, pero no se ha provisto ninguna contraseña.
  at org.postgresql.core.v3.ConnectionFactoryImpl.doAuthentication(ConnectionFactoryImpl.java:540)
  at org.postgresql.core.v3.ConnectionFactoryImpl.tryConnect(ConnectionFactoryImpl.java:141)
  at org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(ConnectionFactoryImpl.java:192)
  at org.postgresql.core.ConnectionFactory.openConnection(ConnectionFactory.java:49)
  at org.postgresql.jdbc.PgConnection.<init>(PgConnection.java:195)
  at org.postgresql.Driver.makeConnection(Driver.java:458)
  at org.postgresql.Driver.connect(Driver.java:260)
  at org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper.connect(DriverWrapper.scala:45)
  at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$createConnectionFactory$1.apply(JdbcUtils.scala:63)
  at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$createConnectionFactory$1.apply(JdbcUtils.scala:54)
  at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:56)
  at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation.<init>(JDBCRelation.scala:115)
  at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:52)
  at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:341)
  at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:239)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:227)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:164)
  at org.apache.spark.sql.DataFrameReader.jdbc(DataFrameReader.scala:254)
  ... 49 elided

Как вы можете видеть, в сообщении написано "сервер аутентификации запрашивает пароль". Я установил пароль для своего пользователя postgres, но не нашел решения, тот же пароль появляется снова.

Любые подсказки, чтобы решить это, пожалуйста?

С уважением

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...