Одним из способов решения проблемы нехватки памяти является запись ваших наборов данных на диск в виде многораздельных таблиц с последующим отображением их обратно в память. Это позволит вам запрашивать их, загружая в память только соответствующие столбцы и разделы.
Если вы чувствуете себя относительно комфортно с q, вы можете прочитать эту главу из книги Q для смертных , в которой объясняется, как работать с большими наборами данных.