Если это конкретный элемент, который вы ищете, вы можете проверить его свойство отображения
$('#element').css('display') != 'none';
Если это не был определенный элемент, вы можете найти родительские узлы, которые скрыты, используя: hidden, затем используйте пользовательскую функцию для поиска узлов нужного вам типа.
Э.Г.
$('parent-selector:hidden').find('node-selector').each(function(){
if($(this).css('display') != 'none') {
// do what you wanted
}
});
Если вам нужен чистый селектор, тогда я думаю, что вам не повезет, так как я не думаю, что вы хотите, это часть спецификации CSS, поэтому не будет в качестве селектора в jQuery.