Загрузчик является основной частью ОС на Windows; я не знаю альтернативы с открытым исходным кодом, и я не уверен, что в любом случае можно было бы сделать это правильно - вы должны справиться с минным полем предположений, которые есть у kernel32 / ntdll относительно компоновки адресного пространства, поддержки SxS, ASLR, hotpatching и многое другое.
Распространены компоновщики с открытым исходным кодом (например, инструменты gnu), но я понимаю, что это не то, что вам нужно.