Если вы используете подстрочный оператор, то нет. Существует вероятность, что оператор индекса (map [1]) изменит структуру карты.
Однако, если вы используете метод find с const_iterators, это вполне безопасно. Просто помните, что все эти итераторы могут стать недействительными, если карта будет изменена.
С учетом сказанного, это, вероятно, все еще небезопасная идея.