Добавьте ваш TabSet в Layoutmanager и сделайте размер там (не используйте размер TabSet напрямую):
final TabSet tabs = new TabSet();
//TODO create some tabs
VLayout vLayout = new VLayout();
vLayout.addMember(tabs);
vLayout.setWidth("100%");
vLayout.setHeight("100%");
Смотрите примеры использования VLayout в smartgwt showcase - layout . Есть и другие менеджеры по раскладке HLayout, VStack, HStack, ...