Предупреждение IE об ошибке на странице является элементом графического интерфейса, поэтому вы должны иметь возможность проверить его через белый API. Найдите строку состояния IE, запросите ее для сообщения о состоянии, и если сообщение == 'error on page', зарегистрируйте ошибку в своем тесте. Пример кода ниже для проверки текста в строке состояния.
app = Application.Attach(Process.GetProcessesByName('iexplore')[0])
win = app.GetWindows()[0]
statusBar = win.Get(SearchCriteria.ByAutomationId('StatusBar'))
for item in statusBar.Items:
print item.Id, String.Format("'{0}'", item.Text)
выход
StatusBar.Pane0 'Done'
StatusBar.Pane1 ''
StatusBar.Pane2 ''
StatusBar.Pane3 ''
StatusBar.Pane4 ''
StatusBar.Pane5 ''
StatusBar.Pane6 ''
StatusBar.Pane7 'Internet'