Чтобы удалить подчеркивание из невыбранной вкладки, используйте tabWidget.setStripeEnabled("false");
.
Если вы хотите использовать его динамически в кодировании и если хотите писать в xml, установите свойство tabwidget: android:tabStripeEnabled=false