Во-первых, Microsoft не поддерживает запуск Word на сервере.
Быстрый и грязный способ - не запускать Domino как сервис. Служба не может взаимодействовать с пользовательским интерфейсом, который необходим для OLE.
Недостатком этого является то, что Domino Server необходимо будет перезапустить вручную, если сервер Windows когда-либо перезагрузится.
Правильный способ сделать это - сделать то, что вам нужно в Java, используябиблиотека типа docx4j или Apache POI. Поскольку вы не включили никакого кода, кроме открытия слова doc, я не могу комментировать, что будет подходящей библиотекой.