Стандарт H.264 описывает кодирование альфа-канала через вспомогательное изображение. Но я никогда не видел декодер или кодер, поддерживающий его. Итак, насколько мне известно - да, есть стандарт для H.264 с альфа-версией, но для меня нет известной реализации. Поэтому вам придется реализовать или изменить существующий декодер / кодировщик H.264, что является существенной задачей.
Я думаю, что ситуация еще хуже - я не знаю ни одного популярного кроссплатформенного видеоформата с альфа-версией. В Apple я бы использовал Apple ProRes 4444 - но вам может быть трудно создавать файлы ProRes на любом другом компьютере, кроме macOS.
В настоящее время HAP набирает обороты - https://hap.video/ с поддержкой альфа.