Для QTableWiget используйте
void QTableWidget::setCellWidget (int row, int column, QWidget *widget)
В вашем случае:
class MyWidget : public QWidget {
// a composite widget with layouts and other stuff
};
setCellWidget(0, 0, new MyWidget);
В случае QTableView вам необходимоопределите свой пользовательский делегат и установите его (например) для определенного столбца с помощью:
void QAbstractItemView::setItemDelegateForColumn (int column, QAbstractItemDelegate * delegate)
Проверьте это для примера QProgressBar внутри таблицы