Как избежать "ошибки сегментации" через заданные параметры при использовании csv-import of orc? - PullRequest
0 голосов
/ 10 июля 2019

Имеется 1898 столбцов, 74702 строки, 1,2 ГБ CSV-файл, я хочу преобразовать его в формат orc через csv-import, и обнаружена «ошибка сегментации».Может ли этот инструмент конвертировать такой большой файл?Это связано с опциями csv-import?Сколько памяти требуется инструменту для преобразования такого большого файла?

build env: Ubuntu 18.04 Память времени выполнения: 32 ГБ

csv-import "$(cat data.schema)" test.csv data.orc
[2019-07-10 16:35:06] Start importing Orc file...
Segmentation fault

...