Какой сервис я должен использовать от Azure для потоковой передачи в реальном времени, предоставляемой Azure? - PullRequest
0 голосов
/ 11 июля 2019

Я пытаюсь проводить аналитику в реальном времени с помощью Azure, и когда я прошел через службы, я увидел три службы, предоставляемые Azure: HDInsight (Kafka), потоковая аналитика Azure и концентратор событий Azure. я должен использовать. Я пытаюсь передавать данные в режиме реального времени либо с сервера SQL, либо из твиттера, либо из другого источника и сохранять их в хранилище данных Azure или озере данных.

1 Ответ

0 голосов
/ 11 июля 2019

Чтобы ответить на вопрос высокого уровня, концентраторы событий (включая концентраторы событий Kafka) и HDInsight могут использоваться для загрузки данных. Первый предоставляет серверный сервис, а второй - управляемый кластер Kafka.

Azure Stream Analytics специализируется на обработке данных, преобразовании и аналитике. Для этого можно использовать запрос SQL, а также получать данные из концентраторов событий (или центров IoT) и перемещать их в различные приемники, такие как SQL, хранилище данных SQL, озеро данных и т. Д.

Чтобы ответить на ваш конкретный вопрос, вы можете посмотреть в этом руководстве , где показано, как использовать концентраторы событий и Stream Analytics для обработки данных Twitter.

Кроме того, вы упомянули, что хотите получить данные с SQL Server? Это потоковые данные? Azure Stream Analytics поддерживает данные из SQL для справочных данных (медленно перемещающиеся данные, используемые для обогащения потока данных). Вы ищете что-нибудь для ETL и перемещения данных с сервера SQL в другие места в обычном темпе? Для этой фабрики данных Azure или служб интеграции SQL Server может быть хорошим выбором.

Дайте мне знать, если это ответит на ваш вопрос, я буду рад предоставить вам больше информации.

Жан-Себастьен (Azure Stream Analytics)

...