Ускорение разбора ОГРОМНЫХ списков словарей - Python

Question

Я использую MongoDB базу данных nosql. По сути, в результате запроса у меня есть список диктов, который сам содержит списки словарей ... с которыми мне нужно работать .

К сожалению, обработка всех этих данных в Python может быть доведена до сканирования , когда данных слишком много.

---

Мне никогда не приходилось сталкиваться с этой проблемой, и было бы здорово, если бы кто-то с опытом мог дать несколько советов. =)

Answer 1

Вы действительно хотите, чтобы все эти данные вернулись в вашу программу Python? Если это так, извлекайте его постепенно, но если все, что вам нужно, это суммировать данные, то используйте mapreduce в MongoDB для распределения обработки и просто возвращайте суммированные данные.

В конце концов, смысл в использовании базы данных NoSQL, которая аккуратно ограждает все данные на нескольких машинах, состоит в том, чтобы избежать необходимости перетаскивать их обратно на одну машину для обработки.

Answer 2

Если ЦП является вашим узким местом (и ваша проблема может быть распараллелена), вы также можете рассмотреть возможность использования multiprocessing модуля Python , Диско-проекта или Parallel Python использовать несколько ядер и / или несколько машин.

Answer 3

Загружаете ли вы все данные в память одновременно? Если это так, вы можете заставить ОС переставлять память на диск, что может привести к сканированию любой системы. Словари являются хеш-таблицами, так что даже пустой dict будет занимать много памяти, и из того, что вы говорите, вы создаете много из них одновременно. Я не знаю API MongoDB, но я предполагаю, что есть способ перебирать результаты по одному за раз вместо чтения всего набора результатов за раз - попробуйте использовать это. Или перепишите запрос, чтобы получить подмножество данных.

Если замена диска не является проблемой, профилируйте код, чтобы увидеть узкое место, или добавьте пример кода в свой вопрос. Без более конкретной информации сложно дать более конкретный ответ.