Очень, очень большое спасибо @Michael Gunter, MDI действительно позволяет создавать такие конструкции!
Для тех, кто сталкивается с этим вопросом спустя годы, вот что работает:
IntPtr finalhWnd; // the window to clip's handle
Form mdiP = new MDIParent(); // MDIParent is custom, just a simple form without a border
mdiP.Show();
SetParent(finalhWnd, mdiP.Handle); // set the target form as a child of our own
SetWindowPos(finalhWnd, (IntPtr)0, -30, -50, 100, 100, 0x0200); // clip a 100x100 block, starting at (30,50)
Application.Run();
Вот пример использования его для обрезки границ экземпляра Chrome: