Возможно, мне здесь не хватает чего-то важного, но как насчет int = Val (ch) и ch = Chr (int)?
Кроме того, и, как я уверен, вы уже знаете, преобразование символов в строке C # в байты завершится неудачей для любой строки, содержащей что-либо за пределами расширенного диапазона ASCII, т.е. от 00 = NUL до FF = 'ÿ'.