Для создания градиентного фона необходим селектор, который можно рисовать, а не селектор цвета.
drawable / selector.xml
<selector xmlns:android="http://schemas.android.com/apk/res/android">
<item android:drawable="@drawable/gradient" android:state_checked="true" />
</selector>
drawable / radius.xml (аналогично вопросу)
<?xml version="1.0" encoding="utf-8"?>
<shape xmlns:android="http://schemas.android.com/apk/res/android">
<gradient
android:type="linear"
android:startColor="#ee5f8a"
android:endColor="#ed8f6d"
android:angle="0"/>
</shape>
и наконец ваш взгляд
<android.support.design.widget.BottomNavigationView
android:id="@+id/nav_view"
android:layout_width="match_parent"
android:layout_height="45dp"
android:layout_alignParentBottom="true"
android:background="?android:attr/windowBackground"
app:elevation="5dp"
app:itemIconSize="35dp"
app:itemBackground="@drawable/selector"
app:labelVisibilityMode="unlabeled"
app:menu="@menu/bottom_nav_menu" />