Да, Office 2003 PIA решит вашу проблему. Очевидно, что он не установлен, поэтому нет никаких причин бояться, что вы что-нибудь сломаете.
Другой способ - не использовать PIA, довольно редко на самом деле он нужен. Откройте узел Ссылка в окне обозревателя решений, выберите ссылку Outlook. В окне «Свойства» установите для параметра «Копировать локально» значение «Истина». Построить. Вы получите библиотеки взаимодействия (office.dll и microsoft.office.interop.outlook.dll) в каталоге сборки. Разверните их вместе со своими сборками.