В программном обеспечении JMP есть возможность использовать метод "fast Ward", когда число строк превышает 2000. Из документации [fast ward]:
"Применяется алгоритм, который быстрее вычисляет метод Уорда для большого числа строк. Время вычисления короче, поскольку этот алгоритм не требует вычисления матрицы расстояний. Он используется автоматически при наличии более 2000 строк. "
Matlab делает то же самое .... "Найдите максимум четыре кластера в иерархическом дереве кластеров, созданном с использованием метода связи Уорда. Укажите« SaveMemory »как« on »для построения кластеров без вычисления расстояния матрица. В противном случае вы можете получить ошибку нехватки памяти, если на вашей машине недостаточно памяти для хранения матрицы расстояний. "
Я ищу что-то похожее в Python, но все они кажутся требовать, чтобы матрица расстояний рассчитывалась заблаговременно (что требует абсурдных объемов памяти для моей проблемы м из 275 тыс. строк и 10 столбцов). В JMP / Matlab, хотя он отлично работает на машине с половиной памяти машины, на которой я хочу запустить скрипт python. Кто-нибудь знает что-нибудь?