Синтаксис с обратной косой чертой распознается только внутри строковых литералов компилятором C #. Поскольку ваша строка читается из XML-файла во время выполнения, вам нужно использовать XML-совместимое экранирование (символьные объекты), чтобы включить эти символы в вашу строку. Таким образом, запись настроек вашего приложения должна выглядеть следующим образом:
<add key="key" value="&x10;|&x13;"/>
Поскольку 10 и 13 - шестнадцатеричные значения для перевода строки и возврата каретки, соответственно.
Как сказал cjk, дополнительная косая черта вставляется отладчиком, чтобы показать, что он видит литерал косую черту, а не escape-последовательность.