У меня есть проект по прогнозированию спроса на такси, данные CSV-файла 12 ГБ, 131 миллион записей. После предварительной обработки данных я хочу сохранить их как рассол или что-то еще. Я пытаюсь засолить, но это не работает, я не знаю, в чем проблема!
несколько строк моего кода:
my_data=dd.read_csv(taxi_data.csv', parse_dates ['tpep_pickup_datetime', 'tpep_dropoff_datetime'])
with open('mydatapick.pickle', 'wb') as f:
pickle.dump(my_data,f)
pickle_in=open('mydatapick.pickle', 'rb')
my_data=pickle.load(pickle_in)