Окна инструментов - это просто окна с расширенным стилем WS_EX_TOOLWINDOW:
hWnd = CreateWindowEx(WS_EX_TOOLWINDOW, szWindowClass, szTitle, WS_OVERLAPPEDWINDOW, 100, 100, 500, 400, NULL, NULL, hInstance, NULL);
Обратите внимание, что вам нужно использовать CreateWindow * Ex *, чтобы использовать расширенные стили. Выше приведено окно размером 500x400 при 100 100 на экране.