Как я могу проверить и обнаружить поврежденную JVM? Как я могу проверить, что Менеджер безопасности, Байтовый код и загрузчик классов работают правильно?
Вы бы сделали это так же, как и для любого другого процесса. Как правило, вы будете использовать HIDS (Host Intrusion Detection System), которая будет обнаруживать любые изменения в файлах. В вашем случае вам понадобится система HIDS, способная обнаруживать изменения в файловой системе, особенно для артефактов, составляющих среду выполнения - исполняемый файл java и связанные с ним общие библиотеки, а также классы времени выполнения JRE. Пока HIDS настроен на обнаружение изменений в этих файлах, вам не понадобятся какие-либо посторонние механизмы для их защиты.
В основном я сталкивался с использованием Samhain и Tripwire для этой цели. Могут быть и другие системы HIDS, которые также способны выполнить эту задачу.
Не следует ожидать, что внутри самой JVM будут обнаружены какие-либо механизмы, которые обнаружат, если установка JVM была скомпрометирована, после того, как такой механизм может быть скомпрометирован первым, что приведет к ложному убеждению, что JVM заслуживает доверия.