Вот основная идея. Вы вставляете фиктивный элемент в начале выделения и получаете координаты этого фиктивного html-элемента. Затем вы удалите его.
var range = window.getSelection().getRangeAt(0);
var dummy = document.createElement("span");
range.insertNode(dummy);
var box = document.getBoxObjectFor(dummy);
var x = box.x, y = box.y;
dummy.parentNode.removeChild(dummy);