Я пытаюсь создать REST API в Python, который использует большие данные для динамической загрузки в память и обработки. Данные загружаются в Pandas DataFrames, но мой вопрос не указан c до Pandas, и мне могут потребоваться другие структуры данных.
После запроса к API я хотел бы загрузить полезные данные (например, считанные с диска или из БД) и хранящие их в памяти, поскольку должны следовать другие запросы, основанные на тех же данных. Через некоторое время мне понадобится сбросить данные, чтобы сэкономить память.
На практике я хотел бы сохранить список Pandas фреймов данных в памяти. Кадры данных в списке - это кадры данных, необходимые для выполнения последних запросов. Некоторые DataFrames могут быть очень большими (например, несколько ГБ), поэтому я думаю, что я не могу позволить себе извлекать их каждый раз из БД без больших накладных расходов. Вот почему я хочу сохранить их в памяти для следующих запросов.
Я начал с Flask, когда API полагался на один фиксированный DataFrame. Но сейчас я не могу найти способ динамически загружать новые DataFrames и делать их постоянными при множественных запросах. При необходимости загрузка нового DataFrame должна инициироваться внутри запроса, а новый DataFrame должен быть доступен для следующих запросов. Я не знаю, как добиться этого с Flask или с любой другой структурой.