Написание «Обезьяны Хаоса» для повышения устойчивости

Question

Извиняюсь за довольно открытый характер вопроса, но я думаю, что это очень ценная область для обсуждения.

После недавнего отключения AWS и огромного количества ужасных историй, которые последовали за ним, я был действительно впечатлен «техникой» Обезьяны Хаоса, примененной Netflix (одной из немногих, выживающих в значительной степени без царапина.

Для тех, кто не знает эту концепцию, по сути, это маленький бот, который обходит вашу инфраструктуру, вызывая хаос на своем пути, как способ постоянного тестирования устойчивости.

Помимо Пост Джеффа Этвуда "Обезьяна Хаоса" Пост Я смог найти немного о том, что это используется где-то еще.

Хотя я ценю, что хорошая разработка, основанная на тестировании, является прочной основой, я думаю, что это было бы отличным дополнением к арсеналу любой компании / организации, которая хочет остаться на ногах.

• Кто-нибудь еще подходил к этой теме раньше?
• Существуют ли какие-то другие области, кроме уязвимости подключения и безопасности, в которых вы встретите такой кусок кода?
• Есть ли другие мысли / чувства по поводу этого подхода?

Answer 1

Есть несколько тестов, которые вы можете сделать, чтобы нагрузить вашу систему.Мне нравится использовать Apache Bench для загрузки теста страницы, которая пишет в базу данных.Я проверяю его как на количество обращений, так и на одновременных пользователей

500 одновременных пользователей, которые в общей сложности делают 5000 запросов
$ ab -n 5000 -c 500 url

Я знаю, что мой веб-сервер может противостоять этому, но я обнаружил проблему с тем, как я регистрировал информацию.Вы можете указать, что это разные аспекты вашего сайта.

Если вы используете кеширование, вы можете очистить кеш в середине тестирования, чтобы убедиться, что все быстро восстанавливается.

Если вы можете повторить свойсервер в виртуальной машине, изменение объема оперативной памяти, размонтирование жесткого диска, нехватка дискового пространства, отключение сетевого интерфейса и т. д.

Вы можете попытаться взломать пароль и убедиться, что ваша система допускает только n вход в систему.попытки до ограничения скорости этого пользователя.