Я бы использовал wxStringTokenizer, чтобы разбить строку на отдельные гексы, а затем sscanf, чтобы преобразовать их в числовые значения.
Примерно так:
std::vector<unsigned char> vec;
wxStringTokenizer tkz(thetextCtrl->GetValue(), wxT(" "));
while ( tkz.HasMoreTokens() )
{
wxString token = tkz.GetNextToken();
unsigned char v;
sscanf(token.c_str(),"%x",&v)
vec.push_back( v );
}