Тип по умолчанию: np.float64, то есть 8 байт. Размер в ГБ составляет 644253 * 50 * 259 * 8/1024 ** 3 = 62,16 ГБ. Вы не можете создать такую матрицу, недостаточно памяти. Если вам это действительно нужно, добавьте много памяти подкачки, но она будет очень медленной по сравнению с ОЗУ (может быть на несколько порядков медленнее). Вы также можете попробовать A = np.zeros((644253, 50, 259), type=np.float32)
или A = np.zeros((644253, 50, 259), type=np.int8)
или любой другой тип, который вам нужен. Это может сэкономить память.