Я сомневаюсь, что это относится к .NET, управляемой памяти, сборке мусора и т. Д. Это нативная DLL, поэтому она использует обычную неуправляемую память. Конечно, среда выполнения .NET также будет использовать свою долю памяти, но нативное приложение, использующее DLL, будет делать то же самое.
Если вы работаете в 32-битном процессе, общий размер кучи для .NET и неуправляемого кода может быть ограничен 1,5 ГБ. Трудно сказать без дополнительной информации, но вы, возможно, достигли этого предела.
Таким образом, один из вариантов - спросить вашего поставщика, есть ли у него 64-битная версия библиотеки и перейти на 64-процесс. В 64-битном процессе память практически не ограничена (согласно сегодняшнему стандарту).