Да, панели инструментов являются постоянными, если вы не установите их как временные.
Поэтому проверьте, есть ли сначала, а затем удалите или используйте повторно!
try
{
commandBar = Application.CommandBars["mytoolbar"];
}
catch (ArgumentException e)
{
}
if (commandBar == null)
{
commandBar = Application.CommandBars.Add("mytoolbar ", 1, missing, true);
}