Во-первых, хеш не скажет вам, равны ли две матрицы, а только подскажет, различаются ли они; потому что могут быть (и будут, закон Мерфи всегда скрывается) столкновения.
Вы можете вычислить хеш, связав любую функцию над элементами ... если вы можете привести элементы к целочисленным значениям (не усечению, а двоичному представлению), возможно, вы могли бы XOR все из них (но имейте в виду, что это не будет работать, если некоторые значения одинаковы, но с различным представлением, например -0 и +0 или NaN).
Так что мой совет: у вас может быть какая-то хеш-функция (даже сумма всех элементов может быть действительной), предварительно рассчитанная (это важно, нет смысла вычислять хеш каждый раз, когда вы хотите сделать сравнение и затем сравните хэши), чтобы быстро отбросить несколько разных матриц, но если хеш-код одинаков, вам придется сравнивать каждую позицию.