Вы хотите, чтобы "гравитация" заметила, что ее не следует путать с гравитацией макета, гравитация макета перемещает весь текстовый просмотр, а гравитация перемещает текст в текстовом представлении.
<TextView
android:id="@+id/item_name"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:drawableLeft="@drawable/icon"
android:gravity="center_vertical" />