Я бы сначала спросил, почему вы делаете это таким образом ... кажется слишком сложным.Тем не менее, вы можете просто измерить максимальную высоту для ImageViews и использовать это.Например, x, h и g имеют одинаковую высоту x (высоту строчной буквы x), но у h есть символ по возрастанию, а g по убыванию (который идет выше и ниже стандартной высоты x соответственно).Вы можете создать все буквы, выровненные по базовой линии, задать им одинаковую высоту (высота х + высота подъема + высота спуска), а затем просто выровнять верх, низ или центр, чтобы выровнять их по воображаемой линии, что должнодать вам правильное выравнивание.
Действительно, если вы можете поделиться немного большей информацией (скриншот может быть?), вероятно, есть гораздо более элегантное решение.