Согласно этому документу, заголовок шифрования, если таковой имеется, является заголовком, следующим сразу за подписью RAR. Поэтому, чтобы проверить, зашифрован ли архив в целом, просто найдите подпись RAR, проверьте заголовок после нее и посмотрите, соответствует ли тип заголовка идентификатору заголовка шифрования.
Аналогично, если архив как в целом не зашифровано, вы можете проверить отдельные заголовки файлов, чтобы увидеть, есть ли в какой-либо из них запись шифрования.