Я думаю, что самое простое решение, если вы знаете, что всегда должно быть левое -выровненное, это использовать
android:layoutDirection="rtl"
android:gravity="center_vertical|left"
В противном случае, возможно, стоит изучить форматирование для текста RTL , потому что я думаю, что именно обработка чисел вызывает такое поведение, когда "начало" и "конец" переворачиваются (потому что вы не обязательно хотите перевернуть число, поэтому его можно рассматривать как LTR - Впрочем, я ни в чем не разбираюсь!)