selectionStart
является собственным свойством DOM, поэтому попробуйте это:
var selStart = $('#maintext').get(0).selectionStart;
Причина этого заключается в том, что $('#maintext')
возвращает массив JOM-объектов, обернутых в jQuery, и для вызова нативного метода необходимо получить базовый элемент.