Как сохранить метки времени в файлах паркета в C ++ и загрузить их в Python Pandas? - PullRequest
0 голосов
/ 07 декабря 2018

Я использую Apache Arrow в C ++ для сохранения коллекции временных рядов в виде файла паркета и использую python для загрузки файла паркета как Pandas Dataframe.Процесс работает для всех типов, кроме Date64Type.Я экономлю время эпохи в C ++, и при загрузке в панды информация о времени теряется.

Например, для ускоренного посикса: 2018-04-01T20:11:17.112Z, время эпохи (в int64_t) равно 1522613477112000, но когда я сохраняю в файл паркета как (Date64Type) и загружаю в панды результат2018-04-01 и информация о времени теряется.Как правильно сохранять временные метки в файлах паркета?

1 Ответ

0 голосов
/ 07 декабря 2018

Вам нужно использовать arrow::TimestampType вместо.Date32Type и Date64Type поддерживают только дневное разрешение;их внутреннее представление немного отличается (int32_t дней со времен UNIX против int64_t миллисекунд со времен UNIX)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...