Это просто потому, что вы слегка перетаскиваете изображение в центр, а не то, что нужно вставить в зазор?
Попробуйте установить углы, которые нужно зафиксировать:
const double ctrlPts[24] = {
// Points to move
125,200 ,150,150, 255,150, 150, 150,
// Points to fix
0,0,0,0, 320,0,320,0, 320,460,320,460, 0,460,0,460
};