Как правило, не стоит использовать библиотеки jQuery и Prototype одновременно, и обычно это не требуется. В вашем случае вам, вероятно, следует использовать лайтбокс на основе jQuery (например, плагин лайтбокса jQuery ) вместо вашего на основе прототипа и избавиться от проблем совместимости.