Попробуйте настроить комплекты шифров в контексте dtls.
file: "coap_openssl.c", (примерно строка 395, зависит от вашей версии),
функция: "void * coap_dtls_new_context (struct coap_context_t * coap_context)",
SSL_CTX_set_min_proto_version(context->dtls.ctx, DTLS1_2_VERSION);
SSL_CTX_set_app_data(context->dtls.ctx, &context->dtls);
SSL_CTX_set_read_ahead(context->dtls.ctx, 1);
SSL_CTX_set_cipher_list(context->dtls.ctx, "ECDHE-PSK-AES128-CBC-SHA256:PSK-AES128-CCM8:ECDHE-ECDSA-AES128-CCM8");
Добавьте "set_cipher_list" с необходимыми наборами шифров.