У этой кнопки нет встроенного переопределения, последнее, что я проверил, так что потребовалось бы что-то нестандартное. Если вы настроили всплывающее окно и не хотите встроенного решения, я бы порекомендовал просмотреть этот учебник , чтобы ознакомиться с некоторыми проблемами с всплывающими окнами в Visualforce.
Но, учитывая то, что вы хотите достичь, вы также можете включить встроенную учетную запись и отфильтрованный список всех контактов, связанных с этой учетной записью, на странице, когда пользователь нажимает новую пользовательскую кнопку поиска. Конечно, эта страница сама по себе была бы в Visualforce (или встроенной Visualforce в стандартном макете страницы), которую вы, возможно, захотите или не захотите кодировать и поддерживать.
AJAX Toolkit также может быть хорошим местом для начала, если вы хотите использовать пользовательскую кнопку JavaScript, размещенную на стандартном макете страницы.