Это проблема, специфичная для Android X?
Не совсем.
Проблема заключается в том, что вы задаете заполнение для контейнера RecyclerView.
android:paddingTop="@dimen/activity_vertical_margin"
android:paddingBottom="@dimen/activity_vertical_margin"
android:paddingStart="@dimen/activity_horizontal_margin"
android:paddingEnd="@dimen/activity_horizontal_margin"
Это потому, что прямоугольник, используемый для рисования полос прокрутки, ограничен прямоугольником, в котором рисуется RecyclerView. Это также является причиной того, что полосы прокрутки ограничены сверху.
Удалите их, и вы получите полосы прокрутки, расположенные на границе экрана.
Проверьте также этот связанный вопрос