Идентификация кластера с NN

Question

У меня есть датафрейм, содержащий координаты миллионов частиц, которые я хочу использовать для обучения нейронной сети. Эти частицы создают отдельные кластеры, которые уже определены и помечены;Это означает, что каждая частица уже назначена своему правильному кластеру (это назначение выполняется с помощью оценки плотности, но для моей цели это не имеет значения). Теперь задача состоит в том, чтобы построить сеть, которая выполняет эту кластеризацию после изучения огромных данных. Есть также еще несколько функций в кадре данных, таких как размер кластера, количество частиц в кластере и т. д.

, так как это не проблема классификации, а скорее идентификация кластеров - вопрос, какую нейронную сеть следует использовать? У меня также есть проблемы при построении этой сети: например, CNN, который классифицирует, есть ли на изображении собака или кошка, вывод явно двоичный. так же и последний уровень состоит только из двух выходных данных, которые представляют вероятность того, что они равны 1 или 0. Но как я могу реализовать последний уровень, когда я хочу идентифицировать кластеры?

во время моего исследования я слышал о самоорганизующихся картах. будут ли эти сети работать?

спасибо

Answer 1

Если вы хотите рассматривать кластеризацию как проблему классификации, то вы можете попытаться настроить сеть на , чтобы предсказать, принадлежат ли две точки одному и тому же кластеру или разным кластерам .

ЭтоОднако, в конечном счете, это не решит ваших проблем - для кластеризации данных эта маркировка должна быть транзитивной (что, вероятно, не будет), и вы должны маркировать n² пар, что дорого.

Кроме того, поскольку вашакластеризация основана на плотности, вашей сети может потребоваться информация о дополнительных точках данных, чтобы определить, какие из них должны быть подключены ...

Answer 2

Эти частицы создают отдельные кластеры, которые уже идентифицированы и помечены;Это означает, что каждая частица уже назначена своему правильному кластеру (это назначение выполняется с помощью оценки плотности, но для моей цели это не имеет значения). Теперь задача состоит в том, чтобы построить сеть, которая выполняет эту кластеризацию после изучения огромных данных.

Для меня это похоже на проблему классификации. Сами изображения могут создавать кластеры в своем пространстве изображений (например, в векторном пространстве измерения width * height * RGB).

, поскольку это не проблема классификации, а скорее идентификация кластеров - задача какого типа нейронной сетия должен использовать?

У вас есть данные координат, у вас есть метки. Начните с простого полностью подключенного одно- или многослойного персептрона, то есть ванильного NN, с таким количеством выходов, как число кластеров и функция активации softmax.

Существуют тонны блогов и учебных пособий для библиотек глубокого обучения, таких как keras там в интернете.