В дополнение к другому ответу, который уже указывает, что указатели и небезопасный код следует избегать, если это возможно.
Вы хотите, чтобы код unsafe не распространялся по всей вашей кодовой базе, поэтому я рекомендую писать оболочку .Net поверх всех ваших небезопасных вызовов, и поэтому вам нужно беспокоиться об этом только в одном месте. Возможно, даже создайте для него библиотеку классов, но это зависит от того, что именно вы делаете.
Очевидно, что очень важно, чтобы тот, кто использует обертку, не забывал вызывать методы Dispose обертки и тому подобное, чтобы убедиться, что любые указатели или другие неуправляемые ресурсы удаляются должным образом, но это не отличается от остальной части вашего кода .