Если они используют криптографически безопасный хеш, то в принципе из ввода и вывода вы не сможете обнаружить это.
На практике они возвращают 8 байтов, что составляет 64 бита, что говорит о том, что они используют какой-то вариант MD5. Если они следуют обычной практике, они, вероятно, каким-то образом создали строку, которая включает некоторую комбинацию имени пользователя, пароля, ключа сеанса и секретного хэша, а затем хэшируют ее. (Обратите внимание, что я сказал, что обычная практика, а не лучшая. Лучше всего использовать для этой цели что-то медленное, например, bcrypt.) Если вы выясните магическую комбинацию, у вас есть ответ.
У вас есть два достойных подхода. Самый простой - это перебор. Если вы ищете md5 gpu cracking, вы можете найти множество инструментов, которые позволят вам перенести вычисления MD5 на вашу видеокарту. Они идеально подходят для поиска методом "грубой силы" и позволяют довольно быстро попробовать удивительное количество вариантов вышеупомянутой темы. (Возможность этой атаки заключается в том, что люди должны использовать bcrypt для такого рода вещей.)
Другое дело, что у вас есть приложение. Существуют различные способы отслеживания того, что на самом деле происходит внутри приложения, когда оно выполняет эти вычисления. Преуспеете в этом, и у вас будет ответ.