Как и сказал @Janis, возможно, fancybox выполнится до того, как сможет найти ссылку.
Один из обходных путей - открыть b-модал с помощью метода и выполнить там fancybox.
Так что дайте вашему модалу ref вроде ref="myModal"
и удалите v-модал как:
<b-modal ref="myModal" >
</b-modal>
Создать метод showModal в methods
Внутри функции showModal напишите следующий код
methods:{
showModal:function(){
this.$refs.myModal.show();
$(".fancybox").fancybox({
width : 900,
height : 450
});
}
}