Главный совет: в IDEA вы можете использовать ALT + F9, чтобы перейти туда, где вы поместили курсор, вместо того, чтобы установить дополнительную точку останова.
Я обнаружил анекдотически, что отладка становится медленной очень в IDEA, если вы просматриваете код, где из стека доступно много данных. Не забывайте, IDEA собирает эти данные (все, что в данный момент входит в лексическую область) и представляет их вам в виде дерева объектов для просмотра, «смотрите» вы или нет, и делает это на каждый последующий шаг (может быть, это заново создает дерево каждый раз?).
Это особенно очевидно, когда, например, существует большая коллекция в качестве переменной экземпляра «текущего» объекта.