Я предлагаю вам два разных ответа:)
1. Режимы наложения и смешивания:
Можно поместить содержимое в отдельные слои?
Если это возможно, вы можете попытаться использовать режимы наложения, чтобы сделать это, в первом у вас есть изображение, которое вы хотите показать, а во втором у вас есть другое, которое будет действовать как маска.
Тогда вы можете использовать BlendMode.LAYER (первый слой) + BlendMode.ERASE (слой маски), который называется инверсионной маской.
2. Pixel Bender
Используя Pixel Bender, вы можете создать фильтр с некоторыми параметрами, который будет выполнять супер быстрые вычисления на ваших изображениях.
В одном из этих вычислений можно установить альфа в 0 для всех цветов, соответствующих определенным R, G, B.
Надеюсь, это поможет!