Это нельзя сделать с помощью glBlendFunc. Уравнение смешивания выглядит так:
result = A * front_color OP B * back_color;
OpenGL позволяет настроить A, B - glBlendFunc(A, B);
и ОП (работа) - glBlendEquation(OP);
Чтобы инвертировать цвета, вам нужно
result = 1 - back_color;
Вы можете сделать это, установив A = 1, B = 1, OP = FUNC_SUBTRACT, но вам придется установить front_color на (1,1,1,1) во фрагментном шейдере.
P.S. Я могу ошибаться, поэтому напишите комментарий ниже, и я изменю свой ответ.