Что является альтернативой для двойного типа данных от Spark SQL (Databricks) для хранилища данных Sql Server - PullRequest
0 голосов
/ 22 апреля 2019

Мне нужно загрузить данные из лазурного набора данных в хранилище данных. Я создал настройку для создания внешних таблиц. Существует один столбец с двойным типом данных, я использовал десятичный тип в хранилище данных сервера SQL для создания внешней таблицы.и формат файла - паркет. Но с помощью CSV он работает.я получаю следующую ошибку.

HdfsBridge :: recordReaderFillBuffer - Обнаружена непредвиденная ошибка при заполнении буфера чтения записей: ClassCastException: класс java.lang.Double нельзя привести к классу parquet.io.api.Binary(java.lang.Double находится в модуле java.base загрузчика 'bootstrap'; parquet.io.api.Binary находится в неназванном модуле загрузчика 'app'.

Может кто-нибудь помочь мне вэтот вопрос? Спасибо заранее.

CREATE EXTERNAL TABLE [dbo].[EXT_TEST1]
( A VARCHAR(10),B decimal(36,19))) 
(DATA_SOURCE = [Azure_Datalake],LOCATION = N'/A/B/PARQUET/*.parquet/',FILE_FORMAT =parquetfileformat,REJECT_TYPE = VALUE,REJECT_VALUE = 1)

Column datatype in databricks:
A string,B double 
Data: A  |  B
      'a'  100.0050
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...