Настройте сопоставление типов данных из снежинки, используя соединитель свечи - PullRequest
Новая
       52

Настройте сопоставление типов данных из снежинки, используя соединитель свечи

0 голосов
/ 30 мая 2019

При копировании таблицы из снежинки с использованием искрового соединителя снежинки стандартным поведением является сопоставление структурированных данных с искровыми строками: https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#from-snowflake-to-spark-sql

Например, для таблицы в снежинке: 

create table schema.table as 
select 
    array_construct('1','a') as array_col,
    object_construct('1','a') as obj_col

И скопировать это в pyspark 

df = snowflake.sql_context.read.format("snowflake url")\
    .options(**snowflake_options)\
    .load()

Результаты в кадре данных: 

> df: pyspark.sql.dataframe.DataFrame
>   ARRAY_COL:string
>   OBJ_COL:string

Есть ли в настоящее время способ переопределить это поведение по умолчанию в соединителе для сопоставления снежинки OBJECT с искрой StructType и / или снежинки ARRAY с искрой MapType?

...