Попробуйте заменить две последние строки на:
Marshal::Copy(vPublicKey, 0, IntPtr(vUnmanagedPublicKey), vPublicKeySize);
Вы уже выделили буфер в неуправляемую память для копирования ключа, поэтому нет необходимости выделять неуправляемую память с помощью AllocHGlobal. Вам просто нужно преобразовать неуправляемый указатель (vUnmanagedPublicKey) в управляемый указатель (IntPtr), чтобы Marshal :: Copy мог его использовать. IntPtr принимает собственный указатель в качестве одного из аргументов своего конструктора для выполнения этого преобразования.
Итак, ваш полный код может выглядеть примерно так:
array<Byte>^ vPublicKey = vX509->GetPublicKey();
unsigned char vUnmanagedPublicKey[MAX_PUBLIC_KEY_SIZE];
ZeroMemory(vUnmanagedPublicKey, MAX_PUBLIC_KEY_SIZE);
Marshal::Copy(vPublicKey, 0, IntPtr(vUnmanagedPublicKey), vPublicKey->Length);