Вы можете проверить, существует ли иконка, прежде чем создавать подобный элемент, без необходимости отлавливать ошибку.
export default function DynamicIcon({iconName}) {
const Icon = Icons[iconName];
return Icon ? <Icon /> : <ErrorIcon color="error" />;
}
Это проверяет, является ли Icons[iconName]
верным, то есть существует ли иконка с именеми возвращает элемент Icon, иначе возвращается ErrorIcon.