Одна база данных с 20 миллионами записей или 51 база данных с 50000-300000 записей в каждой базе данных?

Question

Я купил бизнес-базу данных CSV United States с ~ 20 миллионами записей, которая разделена на 51 базу данных, каждая база данных представляет состояние.

Мне нужно написать веб-приложение ASP.NET MVC, которое будет запрашивать эту базу данных по состоянию и другим аргументам.Должен ли я создать базу данных SQL Server и импортировать все записи во всех 51 CSV-файлах?Или, может быть, я должен сделать запрос непосредственно к файлам CSV?Что будет быстрее?Не стесняйтесь предлагать и другие решения.

Спасибо.

Answer 1

Создайте единую базу данных, куда вы поместите все эти записи. Но сделайте это структурированным способом.

Например, вы можете создать таблицу «Состояние» и таблицу «Бизнес». Создайте связь между этими двумя таблицами. Далее нормализуйте свою базу данных.

Когда вы хотите иметь производительную базу данных, она начинается с определения хорошей нормализованной схемы БД. Добавьте необходимые индексы, и у вас все будет хорошо.

База данных предназначена для обработки большого количества записей.

Answer 2

Одна таблица с соответствующими индексами.20 миллионов пластинок - это арахис.

Answer 3

Я бы импортировал данные в одну большую базу данных. Если таблица правильно проиндексирована, она будет обеспечивать лучшую производительность при выполнении запросов, поскольку вместо сканирования каждого файла она сможет использовать правильные индексы для ускорения процесса.