Я пытаюсь получить доступ к своей базе данных MariaDB в Spark для выполнения SQL-запросов к ней.Он успешно печатает схему таблицы, поэтому соединение работает, но всякий раз, когда я пытаюсь получить доступ к любому столбцу или значению в базе данных, я всегда получаю исключения из диапазона: java.sql.SQLException: значение вне диапазона для столбца:значение каноническое
Полный журнал и трассировка стека приведены ниже.
Я могу получить доступ к базе данных вне Spark и успешно получить значения базы данных.Более того, я пытался использовать устаревшие классы, такие как SparkSQLContext, для доступа к базе данных с похожими результатами.
object Main {
def main(args: Array[String]) {
// parse commandline parameters, get database properties
val commandLineParser = new CommandLineParser()
val commandLineParameters = commandLineParser.parseCommandLineParameters(args)
val databaseProperties = PropertiesParser.readPropertiesFile(commandLineParameters.configFilePath)
if (commandLineParameters.sparkSupport) {
val spark =
if (commandLineParameters.localMode) {
SparkSession
.builder()
.appName("Spark Benchmark CLI")
.config("spark.master", "local")
.config("spark.driver.extraClassPath", "/opt/spark-apps/spark-apps/mariadb-java-client-2.4.1.jar")
.getOrCreate()
}
// For implicit conversions like converting RDDs to DataFrames
import spark.implicits._
// connect
Class.forName("org.mariadb.jdbc.Driver")
val connection = DriverManager.getConnection(databaseProperties.jdbcURL, databaseProperties.user, databaseProperties.password)
connection.isClosed
// Spark likes working with properties, hence we create a properties object
val connectionProperties = new Properties()
connectionProperties.put("user", s"${databaseProperties.user}")
connectionProperties.put("password", s"${databaseProperties.password}")
connectionProperties.put("driver", s"${commandLineParameters.databaseDriver}")
val table = spark.read.jdbc(databaseProperties.jdbcURL, commandLineParameters.table, connectionProperties)
table.printSchema() // this does successfully print the schema
table.show() // this is where the exceptions are created
} else {
// some code that accesses the database successfully outside spark
}
}
}
Я ожидаю, что смогу выполнять запросы SQL внутри Spark без каких-либо исключений из диапазона значений.
Полный журнал и трассировка стека того, что на самом деле происходит: https://gist.github.com/Zethson/7e3f43cd80daac219704df25cccd68fa