Как предполагает GMan, unordered_map, вероятно, является хорошим решением. Если вас беспокоит большое количество коллизий в этой хэш-карте, используйте хеш-функцию, которая удалит кластеризацию ваших данных. Например, вы можете поменять местами байты.
Следует отметить, что вы, вероятно, потратите больше времени на отладку и проверку собственной структуры данных, чем на ту, у которой уже есть хорошая родословная.