У меня возникла та же проблема при попытке мониторинга Jboss 4.0.2, так как эта версия имеет свой собственный сервер Mbean, это ваш случай?
В любом случае, убедитесь, что вы используете jdk 1.6.0u7 или новее, в противном случае вам нужно отключить совместное использование классов, чтобы Visualvm работал (-Xshare: off)
Надеюсь, это поможет, может быть, вы сможете подробнее рассказать о характере приложения, которое вы пытаетесь профилировать / JVM, которую вы используете