Я собираюсь получать массивные данные через REST API, и первоначально я собирался использовать MYSQL для хранения этих данных. Однако, поскольку ежедневно ожидаются миллионы строк, мне посоветовали переключиться на хранилище, связанное с CSV.
Теперь у меня два вопроса:
Поскольку файл csv будет принадлежать каждому зарегистрированному пользователю в API, какова лучшая структура файла для моего приложения? Прямо сейчас у меня есть типичная папка с моделями и контроллерами, и я имею в виду папку для каждого пользователя, которая будет содержать правильный файл CSV.
И второй вопрос связан с тем, как создаются эти файлы и папки? я могу использовать встроенную функцию mkdir и / или Pandas? или для этого есть специальная библиотека Flask? Имейте в виду, что пользователи не будут ни отправлять, ни скачивать файлы. На сервере будет работать создание, чтение и запись в файлы.