Я обнаружил, что Crypto ++ ожидает двоичных данных, а не в кодировке Base64. Поэтому мне приходилось декодировать это раньше.
Вот рабочее решение;
#include <crypto++/asn.h>
#include <crypto++/base64.h>
#include <iostream>
int main(int, char*[])
{
std::string base64{"AgER"};
std::string decoded;
CryptoPP::StringSource{base64, true, new CryptoPP::Base64Decoder{new CryptoPP::StringSink{decoded}}};
CryptoPP::StringSource s{decoded, true};
CryptoPP::Integer i;
i.BERDecode(s);
std::cout << i.ConvertToLong() << std::endl;
}