Если я правильно понимаю ваш вопрос, вам нужна карта key => vector, где один вектор содержит строки, а другой - целые?
Вы не можете смешивать такие типы. Самое близкое, что вы можете сделать, это создать карту key => CustomClass, где ваш пользовательский класс содержит вектор строк и вектор целых чисел, и оба заполняются.
В качестве альтернативы, если вы хотите быть очень умным и потенциально создать для вас огромную головную боль отладки, вы можете сделать карту, чтобы аннулировать *, и вручную управлять тем, на что указывает каждый указатель:)