Использование атрибута начинается с селектора .
$('a [rel^="lightbox"]')
РЕДАКТИРОВАТЬ: перечитав ваш вопрос, может звучать так, как вы хотите:
$('a[id^="lightbox"] [rel]')
Выбирает все элементы, имеющие атрибут rel
и находящиеся в теге a
, идентификатор которого начинается с lightbox
.