Не могли бы вы уточнить, когда возникает OutOfMemoryException - когда вы вызываете NReco.PdfRenderer API или когда вы просто добавляете ссылку на пакет nuget (или DLL) в ваш проект, и это все?
В последнем case Я могу предположить, что в вашем проекте есть другая сторонняя библиотека, которая сканирует все сборки проекта (с отражением). NReco.PdfRenderer.DLL запутан, и это может вызвать 'OutOfMemoryException', когда его сборка анализируется с отражением; Единственный способ исправить это - использование необфусцированной сборки, она может быть предоставлена по запросу.