Я не думаю, что это возможно без собственных вызовов (например, для запроса реестра), но вы можете использовать системное свойство os.arch для определения разрядности JRE, в которой в данный момент выполняется приложение.
(если кто-то запустит 32-битную JRE на 64-битной машине, вы получите x64, так что вы не знаете, работаете ли вы на 64-битной архитектуре, поэтому следует вызывать 32-битную версию - но наоборот можете смело вызывать 64-битную версию вашего нативного приложения).
Другим способом может быть грубое принуждение:
Почему сейчас всегда пытаются запустить 64-битную версию, а в случае ошибки использовать вместо нее 32-битный двоичный файл?