Я не уверен, что это то, что вам нужно, но изменил HTML на:
<ul id="menu">
<li><input type="button" id="btnMenu-1" class="btnMenu" value="pitillo">
<ul class="subMenu">
<li><input type="button" id="SubBtn-1" class="btnSubMenu" value="sub-pitillo"></li>
</ul>
</li>
<li><input type="button" id="btnMenu-2" class="btnMenu" value="tal">
<ul class="subMenu">
<li><input type="button" id="subBtn-2" class="btnSubMenu" value="sub-tal"></li>
</ul>
</li>
</ul>
поместит подменю в меню, чтобы ваш JavaScript фактически выдвинул его.
Вы также должны убедиться, что выбрали только «внешний» ли. Это делается добавлением «>» к селектору:
function initialize(){
$(".btnMenu").button();
$("#menu>li").hover(mouseEntry,mouseOut);
$('.btnSubMenu').button();
}