key
- это список, а не матрица.Вам нужно преобразовать его в матрицу перед вызовом getH
>>> n = 5
>>> key = [[0] * n for i in range(n)]
>>> type(key)
<class 'list'>
>>> np.matrix(key).getH()
matrix([[0, 0, 0, 0, 0],
[0, 0, 0, 0, 0],
[0, 0, 0, 0, 0],
[0, 0, 0, 0, 0],
[0, 0, 0, 0, 0]])