Селектор : видимый будет выбирать только видимые элементы.
var count = $('#your-table tr:visible').length;
jsFiddle Demo
Если у вас уже есть переменная, котораяудерживает ваши строки, вы также можете использовать метод filter
.
var $rows = $('#your-table tr'),
visibleCount = $rows.filter(':visible').length;