Сторонние данные доставки большого количества данных

Question

Кто-нибудь знает, как работают сайты, которые в реальном времени получают много данных? Я имею в виду что-то вроде фондового сайта, где они могут сообщить вам в режиме реального времени (ну, в основном, 20-минутная задержка, но все же в режиме реального времени - 20 минут, насколько я понимаю).

Каждую секунду им доставляют тысячи фрагментов данных: MSFT 25.00 +.23 VOL 12000 ???? за каждую акцию, которая изменилась за некоторый интервал.

Итак, происходит ли постоянная подача небольших толчков? Или вы думаете, что сайт извлечет из того места, где есть реальные данные, и скажет «дайте мне все изменения с 12:23:45 CST до настоящего времени» типа запроса?

Я спрашиваю об этом, потому что на работе у нас может возникнуть ситуация, когда нам нужно иметь под рукой информацию нашего приложения в реальном времени, как эта, и не имеет смысла бить нашего стороннего поставщика снова и снова и снова каждую секунду ...

Answer 1

Обычно между двумя сторонами определен протокол сервер / клиент. В компании, в которой я работаю, связь поддерживается постоянно.

Здесь приведена информация о потоках данных в реальном времени, которые можно использовать в качестве примера с вашим запасом

NYSE NASDAQ

Обычно поставщики данных также имеют FTP-сайты с (отложенными) пакетными данными. Тот, который приходит на ум, это NWS EMWIN

Answer 2

В широком смысле, push-модель станет лучшим способом для передачи в режиме реального времени, особенно если вы говорите о большом количестве данных.

Однако у вас всегда возникает проблема при использовании чисто принудительной модели восстановления после пропущенных данных.

В зависимости от характера ваших данных это может не быть проблемой (если рассматривать доставку видео в качестве аналога, когда объем данных огромен, но имеется достаточная избыточность для восстановления после пропущенных данных). И если у вас есть какой-либо контроль над данными, вы можете создать некоторую избыточность. Например, при каждом событии изменения вы можете указывать абсолютные значения, а не изменения, или предыдущее значение и новое значение.

Answer 3

Сайты, такие как Twitter , передают данные на определенные утвержденные сайты в режиме реального времени через XMPP ( Wiki-ссылка ).

Answer 4

Я сделал это, пытаясь получить котировку акций из источника и возвращаясь к метке времени, хранящейся на диске, котировки котировок, когда основной источник выходит из строя или время ожидания истекло.