Как эффективно хранить и запрашивать загруженные пользователем данные, когда наборы данных неизвестны - PullRequest
0 голосов
/ 02 мая 2020

«Требования» примерно такие: как пользователь, я хочу загрузить набор данных в CSV, JSON или других поддерживаемых текстовых форматах и ​​иметь возможность выполнять базовые c REST-запросы к ним, такие как выбор всех имена в наборе данных или выберите первые 10 строк.

Я изо всех сил пытаюсь придумать «лучший» способ хранения этих данных. Несмотря на то, что я не думаю, что это сгенерирует миллионы наборов данных, кажется, что вообще плохо создавать новую таблицу для каждого набора данных для пользователя, поскольку, в конце концов, я достигну предела inode. Я мог бы хранить в виде плоских файлов что-то вроде S3, которое кэшируется, но тогда все равно требуется открытие и анализ файла для его запроса.

Это вариант использования для типа JSON в Postgres? Если нет, то какой будет «правильный» формат и место для хранения этих данных?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...