Вы можете использовать событие onLoad диалогового окна xe :. Вот пример, который выводится на консоль при открытии диалога:
<xp:button id="test" value="Test dialog">
<xp:eventHandler event="onclick" submit="false">
<xp:this.script><![CDATA[XSP.openDialog('#{id:testDialog}')]]></xp:this.script>
</xp:eventHandler>
</xp:button>
<xe:dialog id="testDialog" title="Test" onLoad="console.log('Test')">
<xp:div styleClass="lotusDialogContent">
</xp:div>
<div class="lotusDialogFooter">
<xp:link id="link1" text="Cancel" styleClass="lotusAction">
<xp:eventHandler event="onclick" submit="false">
<xp:this.script><![CDATA[XSP.closeDialog('#{id:testDialog}')]]></xp:this.script>
</xp:eventHandler>
</xp:link>
</div>
</xe:dialog>