Я создаю веб-приложение Django, которое по существу будет предоставлять пользователям статические данные.Под статическим я подразумеваю, что администраторы смогут загружать новые наборы данных, но пользователи не будут вводить данные.По сути, после загрузки данных они будут доступны только для чтения по запросу пользователя.
Учитывая, что это довольно большие наборы данных (200 тыс. + Строк), я решил, что SQL будет лучшим способом храненияданные - это позволяет избежать чтения больших наборов данных в память (как это было бы с помощью pickle или json?).Это дает дополнительный бонус в использовании моделей Django для доступа к данным.
Однако я не уверен в том, что это лучший способ сделать это или есть лучшая альтернатива SQL.В настоящее время у меня есть страница администратора, которая позволяет вам выгружать файлы .xlsx, которые затем анализируются и добавляются как записи модели построчно.Это занимает НАВСЕГДА (30+ минут для 100К строк).Возможно, мне следует создать совершенно новую базу данных за пределами Django и затем импортировать ее каким-то образом, но я не могу найти много документации о том, как это можно / нужно сделать.Благодарим за любую идею!Заранее благодарим за любую мудрость.