Записать pyspark Dataframe в таблицу снежинок с равным количеством столбцов и одним дополнительным столбцом autoIncrement - PullRequest
Новая
       7

Записать pyspark Dataframe в таблицу снежинок с равным количеством столбцов и одним дополнительным столбцом autoIncrement

0 голосов
/ 10 октября 2019

У меня есть фрейм данных pyspark с 5 столбцами, которые мне нужно записать в таблицу Snowflake с 6 столбцами, 5 столбцов совпадают со столбцами dataframe, но в таблице снежинок есть 1 дополнительный столбец автоинкремента.

Когда яя пытаюсь записать этот фрейм данных в таблицу снежинок, но выдает ошибку;как несоответствие столбцов из-за разного количества столбцов в кадре данных и таблице снежинок. Я уже пробовал mode = 'append', но это не работает. 

df.write.format(snowflake_source_name) \
            .options(**sfoptions) \
            .option("dbtable", table_name) \
            .mode("append").save()

Я ожидаю, что эти 5 столбцов из информационного кадра должны быть вставлены в таблицу снежинок, а 6-й столбец снежинки автоинкремента должен быть автоматически инкрементирован длякаждая строка вставлена.

1 Ответ

0 голосов
/ 11 октября 2019

Столбцы автоинкремента будут автоматически увеличены как последовательность. Нет необходимости указывать в фрейме данных, иначе будет несоответствие столбцов. При определении таблицы в SnowFlake вы должны указать последовательность в Snowflake DB, которая позаботится о ней. Отдыхайте все хорошо с вашим кодом.

...