getBoundingClientRect является методом узла DOM, результат метода getSelection не является узлом DOM.
Может быть способ использовать свойства anchorNode, anchorOffset, focusNode и focusOffset возвращаемого Selection.
Если вы используете firefox + firebug, вы можете сделать console.log (select)и проверьте свойства, к которым у вас есть доступ.