Что значит
selenium.click("//div[@id='advanced-search-box']/a[1]");
делайте так, как вы не ожидаете загрузки новой страницы или появления какого-либо ajax. Если что-то происходит, вам нужно подождать. Причина, по которой он будет работать в режиме отладки, заключается в том, что вы медленно переступаете через каждый шаг (и, таким образом, у вас достаточно времени для чего-либо). Это также будет работать в Selenium IDE, потому что это не так быстро, как бегун JUnit.