Документы API описывают метод так:
boolean MethodName(VARIANT* par)
Параметр является типом ссылки, который возвращает код ошибки.
Как мне вызвать этот метод, используя новые функции c # 4.0?
Просто используйте старый способ, в 4.0 нет ничего, что могло бы облегчить использование этого метода. Добавьте ссылку на библиотеку типов COM, обычно саму DLL, и вы должны получить класс с методом bool MethodName (ref object). Что вы должны делать с объектом, совершенно неясно из вашего вопроса. Ознакомьтесь с руководством по API, обратитесь за помощью к поставщику компонента.