Я сомневаюсь, что вы захотите погрузиться в кодовую базу Hotspot ... Я копирую часть своего ответа из этого вопроса:
Я думаю, что Maxine Research VM от Oracle Labs будет хорошей отправной точкой. Вот цитата с первой страницы их wiki :
Обзор проекта
В эту эпоху современных управляемых языков мы требуем от наших виртуальных машин еще больше: лучшую производительность, большую масштабируемость и поддержку новейших новых языков. Исследования и эксперименты необходимы, но уже не практичны в контексте зрелых, сложных производственных виртуальных машин, написанных на нескольких языках.
Maxine VM - это платформа следующего поколения, которая устанавливает новый стандарт производительности в этой области исследований. Он полностью написан на Java, полностью совместим с современными средами разработки Java и стандартным JDK, имеет модульную архитектуру, которая позволяет подключать альтернативные реализации подсистем, таких как GC и компиляцию, и сопровождается выделенным инструмент разработки (Maxine Inspector) для отладки и визуализации практически всех аспектов состояния времени выполнения виртуальной машины.
Вот отличное видео, демонстрирующее утилиты для мониторинга памяти: