В исходном коде Java двойная кавычка - это специальный символ, используемый для объявления строковых литералов. Вы не можете иметь двойные кавычки в строковом литерале, не избежав его.
В общем, я бы старался избегать жестко кодируемых строк, подобных этой, в исходном коде, особенно если я обнаружил, что часто этим занимаюсь - как вы заметили, с ними трудно иметь дело как с источником, и они вполне вероятно, что изменится, и в этом случае вы можете обойтись без перекомпиляции. Если вам не нужно предоставлять части времени выполнения для текстовых данных, вам может понадобиться что-то такое же простое, как чтение данных из файла свойств, или вы можете использовать механизм шаблонов, такой как Apache Velocity для храните символьные данные отдельно и по-прежнему заменяйте переменные во время выполнения - несколько примеров в связанном руководстве пользователя делают именно это с HTML.