Специальные символы отображаются как амперсанд и экранированные числа, потому что они что-то значат в HTML. В этом случае 'используется для запуска строкового литерала. если вы хотите, чтобы он действительно показывал ', то вы должны заменить его на экранирование. Вот почему.
Я не знаю, почему вы хотите этого избежать.