Это будет запутано, потому что вы выполняете функцию. Давайте разберемся с этим немного.
Если бы это не было встроенным, это выглядело бы так:
onmouseover = (function(){
$(this).css('background','green');
})();
Заметьте () в конце? Это означает, что вы выполняете код до того, как функция будет назначена для onmouseover.
Попробуйте вместо этого:
<div id="some_div" style="border: solid 1px red; width:50px; height: 50px;"
onmouseover="$(this).css('background','green');"></div>