Пожалуйста, используйте третий флаг - привязка к свойству layout_scrollFlags. Это исправит вашу проблему.
<Toolbar
android:id="@+id/toolbar"
android:layout_width="match_parent"
android:layout_height="?attr/actionBarSize"
android:elevation="5dp"
app:layout_scrollFlags="scroll|enterAlways|snap" />
Эта опция определит, что делать, если только представление было частично уменьшено. Если прокрутка заканчивается и размер вида был уменьшен до менее чем 50% от исходного, тогда этот вид возвращается к исходному размеру. Если размер больше 50% от его размера, он полностью исчезнет.