Вы можете иметь 2 разных <a4j:jsFunction>
для ваших действий редактирования папок и подпапок и называть их условием щелчка в JavaScript контекстного меню.
<rich:menuItem value="Your Context Menu Item" onclick="menuFunction();"></rich:menuItem>
<a4j:jsFunction name="editFolder" action="#{yourFolder.Edit}"/>
<a4j:jsFunction name="editSubFolder" action="#{yourSubFolder.Edit}"/>
И функция сценария
function menuFunction(){
if(subFolderNodeValue){ //Here subFolderNodeValue is the value of node, you can set it using nodeSelectionListner
editSubFolder();
}else{
editFolder();
}
}