Трудно отладить, не видя ваш код, но вы пытались добавить 'return false;'после вашего звонка в Fancybox в OnClientClick?
например:
OnClientClick="yourFunctionCall(); return false;"
Это должно предотвратить обратную передачу.Затем вы можете подключиться к событию закрытия Fancybox (или как угодно), чтобы сделать то, что вам нужно сделать, когда оно закрыто.