Я предполагаю, что вы работаете в закрытии, где 'this' представляет отдельный элемент:
var mouseovered = false,
myElem = this;
$(myElem)
.mouseover(function(){
mouseovered = true;
})
.mouseout(function(){
mouseovered = false;
});
setTimeout(function() {
if(mouseovered) {
return false;
} else {
$(myElem).hide();
}
}, 1000);
Обратите внимание, что я использую myElem вместо ключевого слова this, которое в контексте обратного вызова setTimeout будет ссылкой на объект Window - очевидно, не то, что вам нужно