GetSystemDEPPolicy определяется как
DEP_SYSTEM_POLICY_TYPE WINAPI GetSystemDEPPolicy(void);
, а DEP_SYSTEM_POLICY_TYPE является перечислением (см. Winbase.h, если в вашей среде разработки установлены компоненты C ++ - если не попробовать, winbase.h ) и перечисляет в C по умолчанию значение int, поэтому я бы пошел с
[DllImport("kernel32.dll", CharSet=CharSet.Auto, ExactSpelling=true)]
public static extern int GetSystemDEPPolicy();
Могу ли я порекомендовать вам следовать этому руководству на PInvoke