Чтобы обработать новое окно браузера, вам нужно обработать событие CreateWindow GeckoWebBrowser. Затем вы открываете новую форму с помощью элемента управления веб-браузера и устанавливаете для e.WebBrowser этот элемент управления:
private void webBrowser_CreateWindow(object sender, GeckoCreateWindowEventArgs e) {
BrowserForm frm = new BrowserForm();
e.WebBrowser = frm.WebBrowser;
frm.Show();
}