Приложение должно быть запущено с подходящими разрешениями для того, что вы пытаетесь ioctl включить. В случае Android + JNI это, вероятно, почти никогда не происходит, если вам требуются права доступа root (если только устройство не «рутировано» и приложение не запущено как root), поскольку вполне вероятно, что вызываемое вами собственное приложение будет работать такой же UID, как и приложение Java. Можете ли вы проверить, требуется ли вам права root для того, что вы пытаетесь ioctl?