Единственный вариант здесь, вероятно, будет выглядеть примерно так:
<img th:if="${#strings.isEmpty(media.altText)}" alt="" ... />
<img th:unless="${#strings.isEmpty(media.altText)}" th:alt="${media.altText}" ... />
Это означает дублирование ваших тегов изображений, которые могут работать, а могут и не работать, но это должно решить проблему пустых тегов alt. (Вы могли бы, вероятно, добавить его к включенному фрагменту, который по крайней мере решит проблему дублирования кода.)