Если приложение, открывающее файл (VS2008), не имеет обработчика сообщений, настроенного для инициирования открытия файла (не уверен, если это так или нет; это будет самый простой способ), вы, вероятно, можете смоделировать перетаскивание файла в клиентскую область приложения (через отправку сообщения непосредственно в обработчик сообщений окна клиента). Вам необходимо получить дескриптор окна клиента VS2008 для экземпляра, которому вы отправляете сообщение.
Не знаю, какова будет цель, хотя. Как правило, вы можете вызвать новый экземпляр, чтобы открыть файл, используя ShellExecute (), но это не относится к конкретному экземпляру, который уже запущен.
Другой способ, который вы могли бы рассмотреть, - это подключить обработчик сообщений VS2008 к главному окну и записывать все отправленные сообщения, относящиеся к командам меню. Возможно, вы сможете определить, существует ли событие сообщения, связанное с открытием файла. Выяснение параметров, отправленных в функцию WndProc (), было бы другой историей. Надеюсь, он будет отправлен в виде строкового указателя (для имени файла) в lParam.