Можно ли использовать pandas и / или pyreadstat для чтения большого файла SPSS порциями, или существует альтернатива? - PullRequest
1 голос
/ 27 февраля 2020

У меня есть база данных SPSS, которую мне нужно открыть, но она огромна, и, если открыть ее наивно, как показано в коде ниже, она насыщает оперативную память и в конечном итоге дает сбой.

import pandas as pd

def main():
    data = pd.read_spss('database.sav')
    print(data)

if __name__=='__main__':
    main()

Эквивалентная функция pandas для чтения базы данных SAS позволяет использовать ключевые слова chunksize и iterator, отображая файл, не считывая его все в ОЗУ за один раз, но для SPSS эта опция кажется, отсутствует. Есть ли другой модуль python, который я мог бы использовать для этой задачи, который позволил бы отображать базу данных, не считывая ее в ОЗУ полностью?

...