Попробуйте уменьшить размер шрифта с меньшим уменьшением не на 10% за раз.
Допустим, вы начинаете с размера шрифта 40 (px, em, vw что-нибудь), а затем уменьшаете его до 90%,каков новый размер шрифта 40 * 90% = 36,
снова, когда есть больше контента, вы уменьшаете его до 80%, так что теперь фактический размер шрифта составляет 40 * 80% = 32
Это причина, по которой вы видите большие различия в размерах шрифтов.
Итак, решение, 1 - 5% и посмотрите, что дает вам лучшие результаты.