Производительность MongoDB низкая из-за использования всей используемой памяти в экземпляре EC2

Question

Мы создали шардинг mongodb в EC2, имеющий 3 сервера m2-xlarg каждый и 1 экземпляр m2xlarge как configdb и mongos.

Мы провели тест для вставки 110 миллионов документов.Размер каждого документа составляет 0,3 КБ.Он дает желаемый результат 55 000 операций записи в секунду.

Однако мы заметили, что как только использование памяти приближается к 15 ГБ (объем ОЗУ экземпляра), производительность вставки Mongo падает до 1000 операций вставки в секунду, изатем он постепенно прекращает принимать любые новые запросы на вставку.

Если предположить, что кэш-память использует всю оперативную память, проблема с производительностью понятна.

Мы перезагрузили все серверы и после перезагрузкиМы все еще замечали, что монго не работает очень медленно после первых нескольких сотен вставок.

Может кто-нибудь сообщить нам, в чем может быть проблема здесь?

Мы предполагали, что когда кэш МонгоРазмер приближается к пределу ОЗУ экземпляра (и, следовательно, использует всю ОЗУ), что может повлиять на производительность.Однако мы удивлены тем, что производительность не восстанавливается после перезапуска серверов и освобождения памяти.

Answer 1

По моему опыту, производительность ввода-вывода EC2 очень низкая по сравнению с другими решениями. MongoDB работает очень быстро, когда все находится в ОЗУ, но полагается на очень быстрый ввод-вывод, чтобы продолжать работать хорошо, когда коллекции, включая индексы, больше не помещаются в ОЗУ.

Я предлагаю измерить производительность ввода-вывода вашего EC2.

Если вы этого еще не сделали, вы можете значительно улучшить ввод-вывод EC2, разделив несколько томов EBS в конфигурацию RAID. Тем не менее, я ожидаю, что это будет медленно по сравнению, например, выделенный SAN.

Если вы не можете получить адекватный ввод-вывод из EC2, возможно, вам придется использовать больше экземпляров для хранения вещей в ОЗУ или отключить EC2.