32-битный лимит mongoDB 2 ГБ, лучшие практики

Question

Mongo новичок работает под управлением 32-разрядной Mongo 2.0.1 на Windows XP.В настоящее время нет возможности запустить 64-разрядную версию.

Я хочу использовать Mongo для сопоставления-сокращения набора из 60 файлов, каждый из которых представляет собой ежемесячный снимок одной и той же таблицы столбцов со строкой 20000 x 100.В идеале я бы собрал их все в одну коллекцию - и хотя это примерно 1,2 ГБ данных CSV, это намного больше, чем 2 ГБ данных, импортируемых mongoimport.

Вопрос: нужно ли программировать вокруг этого (60 карт сокращается) или есть не слишком громоздкое инженерное решение, с которым новичок-монго мог бы справиться (либо осторожность, либо некоторая хитрость, которая приводит к меньшему раздуванию хранилища, учитывая, что базовые данные на самом деле представляют собой простую таблицу с определенными столбцами).

Answer 1

Вы можете преодолеть ограничение в 2 Гб путем шардинга. Ограничение в 2 Гб применяется к отдельным процессам mongod, а не к общим данным в наборе данных sharded.

Здесь - некоторая документация по началу работы с шардингом. Существует также скрипт Python для настройки защищенной среды на одном компьютере . Я предполагаю, что это будет работать на Windows.

Answer 2

Если у вас нет 64-битной версии, моя лучшая рекомендация - нет. Было бы слишком громоздким, чтобы управлять ими, чтобы быть под 32-битным процессом. Вероятно, было бы лучше изучить Hadoop для вашей цели.