Как увеличить точность и масштаб по умолчанию при загрузке данных из Oracle с помощью spark-sql

Question

Попытка загрузить данные из таблицы оракула, где у меня есть несколько столбцов, в которых хранятся значения с плавающей запятой, иногда он сохраняется до десятичного типа (40,20), то есть 20 цифр после запятой.В настоящее время, когда я загружаю его столбцы, используя

var local_ora_df: DataFrameReader = ora_df;
      local_ora_df.option("partitionColumn", "FISCAL_YEAR")  
       local_ora_df
          .option("schema",schema)
          .option("dbtable", query)
          .load()

Он содержит 10 цифр после точки, то есть десятичную (38,10) (nullable = true) Если я хочу увеличить цифры после точки при чтении из оракула с использованием spark-sql что мне делать?

Answer 1

Мы можем использовать .option ("customSchema", "data DECIMAL (38, 15)), чтобы увеличить его до 15 цифр после точки.