Да, выведите \b
(возврат), чтобы удалить последний символ. В двух словах:
System.out.print('/');
System.out.print('\b');
System.out.print('-');
System.out.print('\b');
System.out.print('\\');
System.out.print('\b');
Обратите внимание, что это не работает в консоли Eclipse из-за ошибки. Однако в командной консоли все должно работать нормально.