Бинарный файл выглядит как бред, потому что данные в нем предназначены для чтения машиной, а не для людей. К сожалению, некоторые из нас привыкли толковать тарабарщину, хотя и с помощью специализированных инструментов, которые помогают лучше видеть данные, но большинству людей не нужно знать.
Каждый байт в файле обрабатывается как символ в текущем наборе кодов (вероятно, CP1252 в Windows). Например, значение 65 байта равно «A»; Вы можете легко найти наглядные примеры в Интернете. Таким образом, байты, составляющие двоичные данные, отображаются в соответствии с набором кодов - настолько хорошо, насколько это возможно в текстовом редакторе. Он не пытается преобразовать двоичный файл - он не знает как (это делает только оригинальная программа).
Что касается того, как определить, какая программа создала файл - вы можете сделать это иногда, но не легко и надежно. В Unix (или с Cygwin в Windows) может помочь «файловая» программа. Эта программа смотрит на первые несколько байтов, чтобы попытаться угадать программу.
Зашифрованные данные должны выглядеть как бред. Если это не похоже на тарабарщину, то, вероятно, она не очень хорошо зашифрована.