Хорошо, так что оказалось, что отпечаток пальца, вычисленный OpenSSL, является просто хэшем над целым сертификатом (в двоичном кодировании DER, не ASCII PEM!),не только часть TBS, как я думал.
Для тех, кому небезразлично вычислять дайджест сертификата, это делается по-другому: хэш рассчитывается по DER-кодированию (опять же, не строка PEM) TBS part only , включая заголовок ASN.1 (идентификатор 0x30 == ASN1_SEQUENCE | ASN1_CONSTRUCTED и поле длины).Обратите внимание, что заголовок сертификата ASN.1 не учитывается.