К ответу mnistic я бы добавил, что вы не должны забывать включить следующие заголовки:
- openssl / aes.h
- openssl / modes.h
Итак, это:
AES_ctr128_encrypt(
cipher_in,
plaintext_out,
bytes_length,
&cipher->aes_key->key,
cipher->aes_key->IV,
counter,
&offset);
станет:
#include <openssl/aes.h>
#include <openssl/modes.h>
.
.
.
CRYPTO_ctr128_encrypt(
cipher_in,
plaintext_out,
bytes_length,
&cipher->aes_key->key,
cipher->aes_key->IV,
counter,
&offset,
(block128_f)AES_encrypt);