Ну, механизм раскладки, который поддерживает IE, называется Trident .
Используемый API рендеринга зависит от того, какая версия. Я считаю, что IE8 + использует DirectX 2D для выполнения большей части рендеринга.
Предыдущие версии (я полагаю, но не уверен) использовали бы для визуализации стандартные функции рисования GDI + .
Почему бы вам не создать небольшое приложение, использующее COM-компонент IE WebBrowser, а затем отследить вызовы DLL, сделанные приложением?
Изменить:
Самый простой способ создать приложение для трассировки (и я не могу поверить, что я это говорю) - это создать небольшое приложение VB6, добавить элемент управления Internet Explorer в форму и иметь кнопку, которая вызывает переход по одной странице (используйте действительно простая страница, желательно локальная, которую вы сделали сами). Запустите это приложение как exe (не в IDE), а затем присоедините к нему профилировщик, например API monitor или просто google 'win32 api trace' .