Вы можете использовать BinaryReader для чтения данных из файла, предполагая, что данные записаны в двоичном виде. Например, Int32 будет записан как 4 байта, т.е. двоичное представление, а не текстовое представление целого числа.
Полезность BinaryReader будет зависеть от вашего контроля над кодом, генерирующим файл, т.е. Вы можете записать данные, используя BinaryWriter и, конечно, насколько читабельным должен быть файл.