Поскольку он находится в iframe, он не имеет доступа к той же области, в которой работает плагин prettyPhoto.
Предполагая, что iframe находится в том же домене, вы можете перейти вверх в родительский,и вызовите функцию там.
window.parent.$.prettyPhoto.close();
, скорее всего, добьются цели.