Если это не работает, всегда сначала пытайтесь улучшить предварительную обработку. Алгоритмы, такие как k-means, очень чувствительны к масштабированию, так что это то, что нужно тщательно выбирать.
GMM, безусловно, ваш первый выбор здесь. Возможно, стоит попробовать разные инструменты. R's Mclust очень медленный. GMM Склеарна иногда нестабилен. С ELKI немного сложнее начать, но его EM обычно давал мне лучшие результаты.
Помимо GMM, вероятно, стоит попробовать корреляционную кластеризацию . Эти алгоритмы предполагают наличие некоторого многообразия (например, линии), на котором существует кластер. Примеры включают ORCLUS, LMCLUS, CASH, 4C, ... Но, на мой взгляд, это в основном работает для синтетических данных игрушек.