Я предполагаю, что у вас есть только библиотека DLL, если у вас есть и файл заголовка, это будет намного проще, так как вы можете сразу перейти к выяснению, как вызвать его.
Сначала вы должны получить сигнатуру функции, чтобы вы знали аргументы и их типы. Если это C ++ DLL, вы можете получить это с помощью Dependency Walker , если это C DLL, вам, возможно, придется взглянуть на фактический код сборки, чтобы выяснить аргументы и их типы.
Если вы выясните подпись, то вы можете использовать PInvoke для вызова ее из C #, посмотрите на сайте PInvoke для получения более подробной информации и множества образцов.