API потокового Twitter: ограничена ли пропускная способность? - PullRequest
1 голос
/ 02 июня 2011

Я бы хотел транслировать все твиты в Твиттере (да, я сумасшедший), чтобы составить статистику.У меня нет особого разрешения, я просто простой пользователь Twitter.Для начала я просто проверяю, возможно ли это: я захожу на свой сервер, он имеет пропускную способность 100 Мбит (я проверил, что это правда), и я запускаю эту команду:

curl -d 'track=http' http://stream.twitter.com/1/statuses/filter.json -umyuser:mypasswd | grep 'xxxxxx'

Я ставлю'grep', чтобы не отображать твиты и не иметь ограничений из-за отображения текста на экране.Затем я использовал «dstat» для проверки используемой пропускной способности: она все время ограничена 128 КБ / с (то есть всего 1 МБ).Поскольку вес твита составляет около 2 КБ, кажется, что я могу транслировать только около 64 твитов в секунду ... намного меньше, чем реальность (более 1000 твитов / с, я считаю ...).Событие, если я добавлю какой-нибудь частый термин в список дорожек, пропускная способность будет привязана к 128 КБ / с.

Есть ли у вас какие-либо идеи для получения полной потоковой передачи?

1 Ответ

1 голос
/ 02 июня 2011

Если вам не предоставлены привилегии, вы не сможете получить доступ к полностью неизмененному потоку firehose .Имея только базовые привилегии, вы будете переведены на то, что вы делаете сейчас, используя filter или sample (что даст примерно 1% от объема твита Twitter).

Вы можете попытаться получить расширенный доступ, обратившись к Твиттеру, однако, похоже, они не передают повышенные привилегии, если вы не можете достаточно хорошо обосновать свой вариант использования.

...