Вы хотите использовать атрибут android: layout_alignBottom для выравнивания ImageView с базовой линией другого View.
В приведенном ниже примере я выровнял ImageView с другим TextView.Я включил код для ImageView, а не TextView.Для выравнивания с TextView вам просто нужно включить идентификатор TextView.
Настройка поля или отступа приведет к смещению видов, если пользователь изменит размер текста на своем устройстве.
<RelativeLayout
android:layout_width="match_parent"
android:layout_height="match_parent"
android:background="?attr/selectableItemBackground">
<!-- additional code here -->
<ImageView
android:id="@+id/message_time_chevron_id"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_alignBottom="@id/replies_username_id"
android:layout_alignParentRight="true"
android:clickable="true"
android:src="@drawable/ic_chevron_right"/>
<!-- additional code here -->
</RelativeLayout>