Я согласен с @soulshined, и поэтому я изменил свой интерфейс, чтобы быть немного более щадящим к изменениям системного шрифта.Вот что у меня есть
![enter image description here](https://i.stack.imgur.com/0VtdM.png)
Этот макет позволяет макету не ломаться, когда системный шрифт установлен на ОГРОМНЫЙ.
TLDR: Нет способов избежать подобных ситуаций, просто разработайте свой пользовательский интерфейс, чтобы обойти это.