Мне потребовалось время, чтобы выследить это сам. Я нашел ответ в VMM / VMMR3 / PDMDevice.cpp в дереве исходного кода виртуальной коробки.
Предполагая 4.2.8:
Используйте
VirtualBoxManage setextradata VBoxInternal/PDM/Devices/[[ID]]/Path path/to/.dll/or/.so
[[ID]] - это идентификатор, который вы выбрали для идентификации вашего модуля.