Чтобы ваш код работал «как есть», вам понадобится элемент в вашей коллекции заголовков, который называется «заголовок». Попробуйте «Рисунок», который является одним из ярлыков Word по умолчанию, и посмотрите, работает ли он.
Чтобы добавить собственные метки подписей в коллекцию подписей, вы используете функцию Word.CaptionLabels.Add. И вы должны сделать это в первую очередь, прежде чем пытаться использовать пользовательскую метку в методе InsertCaption.
Если вы хотите, чтобы заголовок читался как "Рисунок # уникальный заголовок", тогда вы используете свойство Title в методе InsertCaption и вставляете туда свой уникальный заголовок.
Вот пример из сообщения MSDN о добавлении вашей собственной метки:
oWordApp.CaptionLabels.Add("Picture");
object caption = oWordApp.CaptionLabels["Picture"];
oWordApp.Selection.InsertCaption(ref caption, ref oLabel, ref missing, ref missing, ref missing);