Вы пытаетесь использовать атрибут DOM Core для объекта jQuery. Попробуйте это:
alert(tableRow[0].rowIndex);
@ jandreas: из документов W3C:
rowIndex of type long, readonly, modified in DOM Level 2
Это в логическом порядке, а не в порядке документов. RowIndex учитывает разделы (THEAD, TFOOT или TBODY) внутри таблицы, помещая строки THEAD сначала в индекс, затем строки TBODY, а затем строки TFOOT.
.index()
не будет принимать во внимание эти THEAD и т. Д.