Это сообщение SignedData от CMS-ранее-PKCS7 , определенное в rfc5652 и пред. с подписанными. Дайджест, который вы цитируете и который является элементом messagedigest в signatureattrs, соответствует описанию, приведенному в 5.4, дайджесту части значения eContent OCTET STRING в encapContentInfo, как описано в 5.2.
Поскольку вы не указали код для запуска, вот примерно абсолютный минимум:
#include <stdio.h>
#include <openssl/cms.h>
#include <openssl/bio.h>
#include <openssl/asn1.h>
int main (void){
unsigned char hash[32];
// TEST CODE doesn't check or handle errors; DON'T USE FOR REAL
BIO *in = BIO_push (BIO_new(BIO_f_base64()), BIO_new_file ("54262612.pem","r"));
// file's PEM type not understood by PEM_read_PKCS7; rather than fixing
PKCS7 *outer = d2i_PKCS7_bio (in, NULL); // just bypass it
// assume signeddata with (nonomitted) content octetstring; should check
ASN1_OCTET_STRING *cont = outer->d.sign->contents->d.data;
// assume hash is sha256; should check digestalgs and signerinfo(s)
EVP_Digest (cont->data, cont->length, hash, NULL, EVP_sha256(), NULL);
for( int i = 0; i < 32; i++ ) printf ("%02x", hash[i]); putchar ('\n');
return 0;
}