Как я должен (разумно) хранить и архивировать большие XML-файлы для импорта данных

Question

У нас есть приложение rails, которое обрабатывает большие объемы импорта данных xml.Прямо сейчас мы храним эти ~ 5 МБ XML-документы в Postgres.Это не идеально, учитывая, что мы используем каждый XML-документ один или два раза для анализа.Мы хотели бы иметь интеллектуальный способ хранения и архивирования этих документов, но не слишком усложнять процесс поиска ради места.Мы рассмотрели вопрос о переносе документации в Mongo (которую мы также используем), но разве мы не просто искусственно повышаем требования к памяти для наших серверов Mongo db?

Какой лучший способ для нас поступитьс этим?

Answer 1

Я бы просто сохранил ссылку на файл в БД, если вы используете его только для одного или двух разборов, а затем загрузите файл по указанной ссылке. Другим подходом является использование базы данных XML, например, СУЩЕСТВУЕТ .

Answer 2

Вы можете попробовать eXist , базу данных XML.Если вы просто архивируете их, почему бы не сохранить их в дереве каталогов?

Answer 3

Возможно, вы захотите изучить возможности DB2 PureXML.Чтобы поиграть с ним, вы можете скачать бесплатную версию DB2 Express-C здесь .Кстати, IBM также является единственным поставщиком баз данных, официально поддерживающим их драйвер Ruby и адаптер Rails, так что вы не останетесь один.

Answer 4

Какой вред они делают там, где находятся?Они будут занимать «место», куда бы вы их ни поместили.

Если вы уверены, что они вам больше никогда не понадобятся, тогда есть причина для архивирования в более дешевое хранилище (например, на ленту?) - иначе, что бы вы ни делали »чрезмерно усложняет процесс поиска '

Вы можете рассмотреть возможность их сжатия на месте, если вы этого еще не сделали