Единственный способ, которым я нашел, чтобы переместить ручку именно туда, куда я хотел, это расширить класс slidedrawer и изменить метод onLayout.
Эта строка в исходном коде sldingdrawer определяет положение дескриптора.
handle.layout(childLeft, childTop, childLeft + childWidth, childTop + childHeight);
Раздвиньте ползунок и попробуйте отрегулировать значения, пока не получите нужную позицию.