Невозможно скопировать значения меток времени, заполненные «N / A», в RedShift

Question

У меня есть DataFrame, где я заменил некоторые отсутствующие значения поля на «N / A», например .na.fill("N/A", naColumns).Однако, когда данные копируются из S3 в RedShift, я получаю сообщение об ошибке: Invalid timestamp format or value [YYYY-MM-DD HH24:MI:SS]

Я понимаю, что, вероятно, не самая лучшая идея заполнять поля отметок времени строковыми значениями.Однако, если я не заменяю нулевые значения в DataFrame, я получаю сообщение об ошибке, что разделитель не найден при копировании в RedShift.Что, скорее всего, указывает на отсутствующие столбцы.

Кстати, поля не являются частью первичного ключа и являются nullable.

Каков наиболее подходящий способ заполнения пустых значений полей timestamp на стороне DataFrame?

Answer 1

Вы должны попробовать заполнить пустую строку.Это приведет к нулю в поле копии в Redshift.

Answer 2

Замените ваши пустые значения пустой строкой: '', и она будет выглядеть как две последовательные запятые в вашей строке: value1,value2,,value3 и приведет к null в столбце метки времени