Чтобы метод из учебника NeHe работал правильно, фон вашего исходного изображения (т. Е. В любом месте, где изображение маски белое) должен быть полностью черным. Хотя из вашего первого изображения неясно, какой именно источник, я подозреваю, что он не черный в местах, которые становятся ярче на конечном изображении.
Однако в OpenGL ES 1.1 такая маскировка не требуется. Вы можете визуализировать изображение с альфа-маской за один проход, используя мультитекстурирование. Кроме того, если ваша маска и ваше изображение всегда рисуются вместе, вам лучше просто объединить их в одну текстуру RGBA - мультитекстурирование не требуется.