NumberFormatException генерируется, когда передается дата в виде lowerBound / upperBound в spark-sql-2.4.1v с ojdbc14.jar? - PullRequest
Новая
       29

NumberFormatException генерируется, когда передается дата в виде lowerBound / upperBound в spark-sql-2.4.1v с ojdbc14.jar?

0 голосов
/ 19 мая 2019

Я передал lowerBound / upperBound, как показано ниже 

Dataset<Row> ss = ora_df_reader
            .option("inferSchema", true)
            .option("schema","schema1")
            .option("numPartitions", 20);
             .option("partitionColumn", "INSERTION_DATE");
            .option("sessionInitStatement", "ALTER SESSION SET NLS_DATE_FORMAT = 'YYYY-MM-DD'");
             .option("oracle.jdbc.mapDateToTimestamp","false");
             .option("lowerBound", "2002-03-31" ); 
            .option("upperBound", "2019-05-01"); 
            .option("dateFormat", "yyyy-MM-dd" );
            .option("dbtable", "select * from schema1.modal_vals") 
            .load();

Когда я запускаю вышеизложенное, в моей интересной локальной среде IDE все работает нормально без ошибок.

Но когда я запускаюто же самое в спарк-кластере, то же самое с ошибкой форматирования чисел ... я должен установить какой-либо конкретный параметр в спарк-кластере? 

java.lang.NumberFormatException: For input string: "2002-03-31"
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
at java.lang.Long.parseLong(Long.java:589)
at java.lang.Long.parseLong(Long.java:631)
at scala.collection.immutable.StringLike$class.toLong(StringLike.scala:276)
at scala.collection.immutable.StringOps.toLong(StringOps.scala:29)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$9.apply(JDBCOptions.scala:98)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$9.apply(JDBCOptions.scala:98)
at scala.Option.map(Option.scala:146)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:98)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:35)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:34)
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:341)
at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:239)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:227)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:164)

Какое здесь исправление?

...