Вы можете проверить вики , где вы можете видеть, что для указания хеш-функции вы должны написать что-то вроде:
std::unordered_map<X,int,hash_X> my_map;
где hash_X - определение хеш-функции.
Для полноты я включаю код определения, найденный в wiki
struct X{int i,j,k;};
struct hash_X{
size_t operator()(const X &x){
return hash<int>()(x.i) ^ hash<int>()(x.j) ^ hash<int>()(x.k);
}
};