Импортируйте 5 миллионов записей в приложение rails

Question

Нам необходимо импортировать большой объем данных (около 5 миллионов записей) в приложение postgresql db под rails. Данные будут предоставлены в формате xml с изображениями внутри, закодированными с помощью Base64.

Предполагаемый размер XML-файла составляет 40 ГБ. Какой xml-парсер может обработать такой объем данных в ruby?

Спасибо.

Answer 1

Вы захотите использовать какой-нибудь SAX-парсер . Парсеры SAX не загружают все в память сразу.

Я не знаю о парсерах Ruby, но быстрый поиск в Google дал это сообщение в блоге . Вы можете начать копать оттуда.

Вы также можете попробовать разделить файл XML на более мелкие части, чтобы сделать его более управляемым.

Answer 2

Вы можете преобразовать данные в CSV и затем загрузить их в свою базу данных, используя возможности загрузки СУБД CSV. Для MySQL это , а для PostgreSQL . Я бы не использовал ничего встроенного в Ruby для загрузки файла 40 ГБ, это не слишком хорошо с памятью. Лучше всего оставить «профессионалам».

Answer 3

Вы должны использовать синтаксический анализатор XML SAX, как сказал Юха. Я думаю, что libxml - самая быстрая библиотека xml для ruby.