Не уверен, как вы запускаете IE, но если вы сохраняете ссылку на запущенный процесс (или дескриптор окна, который был создан), вы можете завершить процесс (или закрыть окно), когда закроется приложение.
EDIT:
Код для закрытия дескриптора окна похож на
Utilities.Utilities.SendMessage(mTestPanelHandle, WM_COMMAND, WM_CLOSE, 0);
если у вас есть P / Invoke
public const int WM_COMMAND = 0x0112;
public const int WM_CLOSE = 0xF060;
[DllImport("user32.dll", EntryPoint = "SendMessage", SetLastError = true,
CallingConvention = CallingConvention.StdCall)]
public static extern int SendMessage(IntPtr hwnd, uint Msg, int wParam, int lParam)