У меня была такая же проблема.VM не показывался автоматически, но я смог подключиться через «Add JMX Connection», используя имя хоста и jmx.remote.port ...
В VisualVM перейдите в File -> Add JMX Connection
localhost:3333
Добавить параметр vm при запуске, например:
-Dcom.sun.management.jmxremote.port=3333
-Dcom.sun.management.jmxremote.ssl=false
-Dcom.sun.management.jmxremote.authenticate=false