Вы просматриваете hexdump исполняемого файла ELF Linux скомпилированного G CC, основанный на начале файла (Magi c Number). Сам по себе это не зашифрованный файл, но может использовать функции cryptographi c.
В зависимости от используемой ОС, вы можете попробовать Ghidra, IDA или GDB (для отладки ассемблерного кода вы должны сначала знать, безопасен ли файл для запуска на самом деле).
Как стартер RE, я бы порекомендовал установить Ghidra, так как он может дать вам C подобный псевдокоду, помогающий вам понять, что делает двоичный файл, какие библиотеки он использует, et c.
Если вы хотите узнать больше, попробуйте пройти курс RE или поиграть в очень маленькие C программы, скомпилировать и отладить их и попробовать, например, прочитать coreutils:
https://github.com/coreutils/coreutils/blob/master/src/whoami.c
и сравните его, например, с двоичными файлами (показывая некоторые инструменты, помогающие с RE, но пропустив большую часть выходных данных):
$ cat /usr/bin/whoami | less
$ xxd /usr/bin/whoami | less
$ xxd -b /usr/bin/whoami | less
$ readelf -a /usr/bin/whoami
$ file /usr/bin/whoami
/bin/rm: ELF 64-bit LSB executable, x86-64, version1 (SYSV), dynamically linked (uses shared libs), .....
$ man elf
$ objdump -d /usr/bin/whoami | less
$ binwalk /pathto/yourfile
Вы можете также читайте больше о формате файла ELF:
https://linuxhint.com/understanding_elf_file_format/