Загрузка больших наборов данных в таблицы MySQL

Question

Я хотел бы начать работать с большими государственными наборами данных - в частности, я хочу работать с записями о взносах в кампании и лоббирующими записями о раскрытии . Фонд Sunlight Foundation и Центр отзывчивой политики предлагают очищенные версии этих наборов данных для загрузки.

Я хочу загрузить эти наборы данных в таблицы MySQL, поскольку MySQL - это система управления базами данных, с которой я больше всего знаком.

У меня есть два вопроса:

1. Каков наилучший способ загрузки этих больших файлов CSV в таблицы MySQL?
2. Есть ли лучший способ загрузки этих наборов данных в базу данных и выполнения запросов? Стоит ли рассматривать другую платформу базы данных? Я открыт для альтернатив, но я не знаю, с чего начать. Пока я собираюсь выполнять только локальные запросы, но в какой-то момент я бы хотел создать общедоступное веб-приложение.

Answer 1

Чтобы ответить на ваш первый вопрос, попробуйте команду MySQL LOAD DATA INFILE.Обычно это довольно быстро для этого типа загрузки данных.

Answer 2

Чтобы ответить на ваш второй вопрос, правильно проиндексированные таблицы MySQL не имеют проблем с десятками миллионов строк. Особенно, если вы выполняете чтение только после импорта.