Если вы используете WinForms, то это просто myForm.Handle
HwndSource для WPF.
Так что вы можете просто сделать:
viewerHandle = SetClipboardViewer(myForm.Handle);
Редактировать: AddHook также является методом WPF.
Вам необходимо использовать либо:
Application.AddMessageFilter(...);
или в вашем классе Form переопределите метод WndProc:
protected override void WndProc(ref Message m) {...}
AddMessageFilter может захватывать сообщения для любого окна в вашем приложении, тогда как WndProc будет получать сообщения только для данного окна.