Если я вас правильно понимаю, у вас есть собственный класс, который работает с QDialog, но теперь вы хотели бы использовать его внутри панели вкладок, а не автономно.
Для этого самый простой путь - это изменить свойкласс для наследования от QWidget напрямую, а не от QDialog.В этом классе не должно быть практически никаких изменений кода (за исключением очевидных вещей в конструкторе).
(хотя я понятия не имею, что ваша проблема .ui связана с этим.)
Кроме того, QDialog наследуется от QWidget.При использовании QDialog, когда ожидается QWidget, не требуется приведение типов.