Тестирование производительности микросервисов

Question

Я использую jmeter для загрузки теста моего сервера APi (работающего на tomcat), который inturn вызывает micrroservicr, используя thrift. (20 тыс. Запросов / мин)

Я использую новую реликвию для мониторинга. Я заметил, что ненормально много времени тратится, когда API вызывает микросервис (в пределах 10-15 секунд). Поэтому я наблюдал микросервис в течение той же продолжительности. Время отклика было практически незначительным. (10-12 миллисекунд)

Итак, я подозревал, что, вероятно, API ставит в очередь ответы, потому что он не может принять частоту, с которой он получает ответ от микросервиса. Для того же адреса я удвоил значение Xmx и Xms моего Java-приложения API .

Все еще наблюдаю то же самое, что может быть узким местом, которое я упускаю.

Answer 1

1. Убедитесь, что ваш API, работающий на Tomcat, имеет достаточный запас ресурсов с точки зрения процессора, оперативной памяти, сети, диска и т. Д., Поскольку это может замедлить работу.Вы можете использовать JMeter PerfMon Plugin для этого
2. Убедитесь, что сам Tomcat настроен на высокие нагрузки, так как потоки могут стоять в очереди на Tomcat HTTP Connector , т.е. есликоличество потоков в исполнителе меньше числа устанавливаемых вами соединений - запросы будут поставлены в очередь даже до достижения вашего API
3. . Повторно запустите ваш тест с использованием инструментов телеметрии профилировщика, т. е. установите JProfiler или YourKit мониторинг - так вы узнаете, где ваш API тратит большую часть времени и в чем причина