Twitter Data Mining: Степени разделения

Question

Какие готовые доступные алгоритмы я могу использовать для сбора данных в твиттере, чтобы узнать степень разделения между двумя людьми в твиттере.

Как это меняется, когда социальный граф постоянно меняется и обновляется.

И затем, есть ли какая-то информация о социальных сетях в Твиттере, которую я мог бы использовать вместо того, чтобы делать так много вызовов API, чтобы начать все сначала.

Answer 1

Из API Twitter

Что такое канал интеллектуального анализа данных и можно ли получить к нему доступ?

Data Mining Feed является расширенной версией нашего / statuses / public_timeline REST API метода. Он возвращает 600 последних общедоступных статусов, кешируемых по минуте за раз. Вы можете запросить его один раз в минуту, чтобы получить репрезентативную выборку публичных статусов в Twitter. Мы предлагаем это бесплатно (и без каких-либо гарантий качества обслуживания) для исследователей и любителей. Все, что мы просим, ​​- это предоставить вам краткое описание вашего исследования или проекта и IP-адрес (а), с которого вы будете запрашивать канал; просто заполните эту форму. Обратите внимание, что Data Mining Feed не предназначен для предоставления непрерывного потока всех общедоступных обновлений в Twitter; пожалуйста, см. выше для получения дополнительной информации о предстоящем решении "пожарного шланга".

, а также см .: Документация по потоковому API

Answer 2

Могут быть и другие способы сделать это, но я просто провел последние 10 минут, глядя на то, чтобы сделать что-то подобное, и наткнулся на этот вопрос.

Я бы использовал неориентированный (& взвешенный - как я хочу посмотреть на местоположение) график - используйте JgraphT или аналогичный в py; JGraphT основан на Java, но включает в себя различные заранее написанные алгоритмы.

Затем вы можете использовать алгоритм BellmanFord; принимает целочисленный ввод и ищет на графике кратчайший путь с целочисленным вводом, и только целочисленный ввод, в отличие от Дейкстры.

http://en.wikipedia.org/wiki/Bellman%E2%80%93Ford_algorithm

Я недавно использовал его в проекте для маршрутизации полета, итерируя, чтобы найти кратчайший путь с кратчайшими «скачками» (ребрами).

Answer 3

Была компания, предлагающая дамп социального графа, но он был снят и больше не доступен. Как вы уже поняли, это довольно сложно, так как все время меняется.

Я бы порекомендовал проверить их методы API social_graph, так как они дают больше информации с наименьшими вызовами API.