Я бы подумал, что, поскольку Java не зависит от операционной системы, для этого не существует специального API, нативного или стороннего, (хотя могло бы быть). Вы можете использовать комбинацию JNI и / или выполнять внешние команды, а затем интерпретировать их выходные данные, чтобы определить, включены ли анимации. Для этого вам нужно запросить системное свойство os.name и выполнить конкретные команды для этой ОС. Я думаю, что это будет довольно сложно, и вы можете просто дать пользователям возможность отключить анимацию.
Лично я предпочел бы этот вариант, потому что я мог бы отключить анимации ОС, потому что они раздражают, но все же могут наслаждаться анимациями в вашем приложении.