Фон по умолчанию не белый, но прозрачный для графики, поэтому резкого контраста нет. Background -> White
делает фон белым и оставляет границы, совершенно противоположное тому, что вы сказали. BaseStyle
похоже ничего не делает.
Вот что я получаю в Windows XP:

РЕДАКТИРОВАНИЕ: Альтернативой является пользовательская TabView
-реализация по следующим строкам:
objects = Table[Plot[f[x], {x, 0, 10}], {f, {Sin, Cos, Exp}}];
Column[
{SetterBar[Dynamic[x], Thread[objects -> Range@Length[objects]]],
Dynamic[x]}
]
Это незакончено, но основы работают, и это показывает вам, как сделать это самостоятельно.