Как отмечено в комментариях, базовые значения SHA1 и MD5 экранированы в шестнадцатеричном формате. Это может быть легко преобразовано в bytea:
select ('\x' || md5('test'))::bytea;
Для этого требуется новая версия PostgreSQL, достаточно новая для поддержки шестнадцатеричного кодирования байтов.
MySQL, вероятно, имеет совершенно другой способ сделать это, учитывая несоответствия между типами, которые вы не можете ожидать от решения для кросс-dB.