Либо перейдите с кнопкой JavaScript, которая приведет вас на страницу Visualforce, либо вам понадобится страница Visualforce, которая расширяет регистр Case, который немедленно перенаправляет вас на страницу Visualforce, не относящуюся к регистру.Поскольку это уродливо и не нужно, просто сделайте кнопку JavaScript на своем объекте Case (имя | настройка | настройка приложения | настройка | случаи | кнопки и ссылки | новая, затем выберите OnClick JavaScript для источника контента).
Затем в JavaScript:
parent.location.href ='/apex/YourNonCaseVisualforcePage';
РЕДАКТИРОВАТЬ: Изучите этот урок , чтобы получить советы по отправке данных из всплывающего окна в Visualforce.