Для этого вам нужно вставить фильтр преобразования в график DirectShow. По сути, вы берете видеокадр, преобразуете его в текстуру, визуализируете видео-текстуру в конец буфера кадров, а затем выполняете любой 3D-рендеринг, который хотите сделать поверх.
Это ни в коем случае не простой процесс. Directshow может быть довольно вовлеченным. Однако вспомогательные классы в Windows SDK очень помогают. Увы, хотя я не уверен, как бы вы вставили свой фильтр в график в AForge ...