Перевести OpenSSL RSA-шифрование в GnuTLS - PullRequest
Новая
       93

Перевести OpenSSL RSA-шифрование в GnuTLS

0 голосов
/ 21 мая 2018

Я пытаюсь перевести следующий код из OpenSSL в GnuTLS по причинам лицензирования: 

  BIO *bioKey = BIO_new(BIO_s_mem());
  if (!bioKey)
  {
    DEBUG_ERROR("failed to allocate bioKey");
    spice_disconnect_channel(channel);
    return false;
  }

  BIO_write(bioKey, reply.pub_key, SPICE_TICKET_PUBKEY_BYTES);
  EVP_PKEY *rsaKey = d2i_PUBKEY_bio(bioKey, NULL);
  RSA *rsa = EVP_PKEY_get1_RSA(rsaKey);

  char enc[RSA_size(rsa)];
  if (RSA_public_encrypt(
        strlen(spice.password) + 1,
        (uint8_t*)spice.password,
        (uint8_t*)enc,
        rsa,
        RSA_PKCS1_OAEP_PADDING
  ) <= 0)
  {
    DEBUG_ERROR("rsa public encrypt failed");
    spice_disconnect_channel(channel);
    EVP_PKEY_free(rsaKey);
    BIO_free(bioKey);
    return false;
  }

  ssize_t rsaSize = RSA_size(rsa);
  EVP_PKEY_free(rsaKey);
  BIO_free(bioKey);

До сих пор я придумал следующее, но кажется, что вывод не в правильном формате (RSA_PKCS1_OEAP_PADDING) 

  const gnutls_datum_t pubData =
  {
    .data = (void *)reply.pub_key,
    .size = SPICE_TICKET_PUBKEY_BYTES
  };

  gnutls_pubkey_t pubkey;
  if (gnutls_pubkey_init(&pubkey) < 0)
  {
    spice_disconnect_channel(channel);
    DEBUG_ERROR("gnutls_pubkey_init failed");
    return false;
  }

  if (gnutls_pubkey_import(pubkey, &pubData, GNUTLS_X509_FMT_DER) < 0)
  {
    gnutls_pubkey_deinit(pubkey);
    spice_disconnect_channel(channel);
    DEBUG_ERROR("gnutls_pubkey_import failed");
    return false;
  }

  const gnutls_datum_t input =
  {
    .data = (void *)spice.password,
    .size = strlen(spice.password) + 1
  };

  gnutls_datum_t out;
  if (gnutls_pubkey_encrypt_data(pubkey, 0, &input, &out) < 0)
  {
    gnutls_pubkey_deinit(pubkey);
    spice_disconnect_channel(channel);
    DEBUG_ERROR("gnutls_pubkey_encrypt_data failed");
    return false;
  }

  const char        *enc     = (char *)out.data;
  const unsigned int rsaSize = out.size;

Я не специалист по шифрованию или этим библиотекам, поэтому, пожалуйста, будьте добры.

1 Ответ

0 голосов
/ 22 мая 2018

GnuTLS вообще не поддерживает ES-OEAP.gnutls_pubkey_encrypt_data создает дополняемые данные PKCS # 1 и не может использоваться.

Решение состоит в том, чтобы полностью исключить GnuTLS и выполнить шифрование вручную с помощью nettle и libgmp.Я основал свое решение на примере из FreeTDS:

http://www.freetds.org/reference/a00351_source.html

Это реализует функцию заполнения OEAP и использует GMP для выполнения шифрования RSA.

...