Openfire поддерживает несколько типов хранилищ, поэтому он фактически поддерживает пару алгоритмов хеширования. Это зависит от типа хранилища и конфигурации в openfire.xml
Обычно находится в: /opt/openfire/config/openfire.xml
выглядит как sha1
Хотя ваш вопрос немного двусмысленный. Поскольку это также может означать формат, пароль отправляется через XMPP от клиента. Это зависит от используемого протокола аутентификации и будет определено в спецификации XMPP ...