Я не уверен, имеет ли это смысл, так как эти кнопки необходимы для функциональности QToolBox. Если вам нужен стек виджетов, для которого вы можете вручную управлять их отображением или нет, тогда QStackedWidget предоставляет аналогичные функции без отображения каких-либо собственных элементов.
edit: Нет, поскольку QToolBox не имеет полосы прокрутки. Но поскольку вы «заполняете» его собственными виджетами, которые затем отображаются с помощью setCurrentWidget, вы можете использовать, например, QScrollArea и размещать в нем свои собственные виджеты.