Для тех, кто интересуется, вы можете использовать маски со следующей настройкой:
Сначала нарисуйте маску, которая должна использовать черную кисть на прозрачном фоне.Нарисуйте это с помощью src alpha и с одним минусом src alpha.
Во-вторых, нарисуйте поверх маски текстуру, которую вы хотите видеть только над частью маски (черная кисть).Нарисуйте эту текстуру с помощью dst alpha и gl_zero.
В-третьих, нарисуйте текстуру, которую хотите отобразить, поверх прозрачной части маски.Нарисуйте эту текстуру с одним минусом dst alpha и gl_one.
Используя эту технику, вам не нужно делать плитки переходов / бахром для всех возможных ландшафтов.