Самое простое решение - сделать содержимое вашей кнопки менее сложным. В общем, чем больше в нем материалов для рисования (т.е. большего размера), тем больше времени потребуется для его рисования. Это может стать еще более проблематичным, если учесть, что оборудование также будет играть (непредсказуемую) роль в производительности.
Итак, пара простых вариантов: смешивать и сочетать для достижения наилучших результатов.
1. Сделайте вашу кнопку менее сложной.
2. Ограничьте его максимальный размер. (К чему-то меньшему)
3. Примите изменчивость.