Вопрос о DateTime в фрейме данных против DateTime в Google Big Query - PullRequest
0 голосов
/ 30 ноября 2018

Я пытаюсь отправить данные из фрейма данных в Google Big Query.

Я установил поле даты для фрейма данных как

df['time'] = df['time'].astype('datetime64[ns]')

и установил Google Big Queryдата до *DATETIME*.Когда я делаю экспорт из Python в GBQ, я получаю эту ошибку:

InvalidSchema: убедитесь, что структура и типы данных в DataFrame соответствуют схеме таблицы назначения.

Если я все сделаю в строковом формате, это сработает.Я не думаю, что вы можете просто установить поле фрейма данных на date, верно?Есть ли умный способ заставить это работать, или даты должны быть установлены как строки?

TIA.

1 Ответ

0 голосов
/ 08 марта 2019

Я обнаружил, что загрузка данных с датой и столбцом типа datetime не работает.Поэтому я попытался использовать метку времени типа данных, а затем мог загрузить данные в таблицу больших запросов.

при определении схемы для столбцов даты определите ее как метку времени, как показано ниже.

bigquery.SchemaField('dateofbirth', 'timestamp')

и преобразуйте тип данных столбца данныхиз объекта в другой формат даты и времени, который может понять bigquery.

df.dateofbirth=df.dateofbirth.astype('datetime64')

по состоянию на 8 марта 2019 года тип столбца даты и даты и времени не работает.

...