Существует два распространенных типа кодировки сертификатов.Если вы можете прочитать «---- BEGIN CERTIFICATE ----», то это кодировка PEM.Если нет, то DER (двоичный) кодируется.Попытка преобразования с помощью команды openssl x509, указав неправильную кодировку, приведет к полученной вами ошибке.
Если файл сертификата имеет кодировку DER (двоичный код)
openssl x509 -inform DER -in certificate.cer -out certificate.crt
Если сертификат имеет кодировку PEM (читаемую человеком)
openssl x509 -inform PEM -in certificate.cer -out certificate.crt