Вы не кодируете байтов для конкретной кодировки - вы декодируете их из исходной кодировки. Вы должны использовать кодировку right - вы не можете просто выбрать ее произвольно.
Эти байты на самом деле представляют текстовые данные? Если да, то какую кодировку уже использовать? Это должно быть частью формата файла.
Если они не фактически закодированный текст, но вы хотите надежное текстовое представление произвольных двоичных данных, используйте Convert.ToBase64String
.