Это связано с тем, как работает jQuery. Функция fancybox будет работать только для текущих элементов на странице, а не для динамически добавляемых javascript.
Быстрое исправление может состоять в том, чтобы изменить код следующим образом:
$("#picdiv").append($("<a rel='lightbox' href='pic.jpg'><img src='htumb.jpg'></a>").fancybox());
Не уверен, что вышеперечисленное сработает, но общая идея заключается в том, чтобы обеспечить добавление плагина для всех созданных новых элементов.