Я начал с книги Таненбаума (Википедия)"Современные операционные системы", а затем перешел на Linux с нуля.Для практических примеров OSDev здесь и здесь - это кладезь информации, когда вы становитесь действительно практичными.В противном случае, для специфики Windows нет недостатка в книгах или литературе MSDN.
Мне показалось, что Таненбаум очень интересное чтение, он изобрел ОС Minix, которую он использует для реальных примеров.Minix относится к той же эпохе, что и Linux.Взгляните на некоторые из самых ранних версий исходного кода Linux (например, 0.1 или около того, если вы не хотите потерять год своей жизни, изучая чистый код).