fancybox может отображать любой html-код, поэтому нет причин, по которым он не будет работать с Plyr.
Если вы хотите загружать контент с помощью ajax, то вам, скорее всего, потребуется использовать обратные вызовы для инициализации Plyr.,Это было бы что-то вроде этого:
$("[data-fancybox]").fancybox({
beforeShow : function() {
const player = new Plyr('#player');
}
});
Quick demo - https://codepen.io/anon/pen/gdZYbL