Попытка сделать OpenGL в окне другого процесса - это действительно очень плохая идея! Для работы OpenGL необходимо установить формат окна в пикселях. Однако формат окна в пикселях может быть установлен только один раз, поэтому выполнение этого для чужого окна - это путь к катастрофе.
Правильный способ сделать это, но он медленный, как ничто другое, - это использовать PBuffer, который имеет свой собственный HDC вне экрана, рендеринга в этот PBuffer и BitBlt из PBuffer в целевое окно. Я никогда не реализовывал это сам, поэтому я не могу сказать вам, насколько хорошо это работает из первых рук. Но это звучит как интересная вещь, чтобы попробовать, так что, возможно, я делаю это в следующий раз, когда я загружаю Windows на своем компьютере.