Azure Задание потоковой аналитики выполняется бесконечно

Question

Я пытаюсь работать с Microsoft Learning - реализация решения для потоковой передачи данных с помощью Azure Streaming Analytics. В настоящее время я работаю над упражнением, в котором мы настраиваем задание на обработку, преобразовываем его с помощью запроса и затем возвращаем результаты. работает бесконечно и не заканчивается sh. Я не получаю сообщения об ошибке. Когда я проверил документацию, он сказал, что это может быть проблема с вводом, но я вернулся к своему входному файлу и протестировал данные, и они видны.

Может ли кто-нибудь указать мне в правильном направлении двигаться на? Большое спасибо

Answer 1

Я тоже только что закончил эту часть. В упражнении сказано запустить конвейер «Сейчас», то есть текущее время. Это заставит конвейер начать обработку данных только после запуска конвейера. Я не пробовал, но если вы поместите новый документ JSON в эту папку после запуска конвейера, он, вероятно, будет нормально обрабатываться.

Я исправил это, указав "Custom" и убедившись, что я поставил время до того, как входные данные примера JSON были помещены в исходный контейнер больших двоичных объектов (для меня это сделал час).

После этого изменения, как только конвейер был запущен, выходной счетчик увеличился почти сразу, и я мог видеть приведет к правильному каталогу.

Answer 2

Примечание: Azure Задания Stream Analytics будут выполняться вечно, пока мы не остановим их вручную.

Azure Задания Stream Analytics можно легко остановить или удалить через портал Azure, Azure PowerShell, Azure SDK для. Net или REST API. После удаления задание Stream Analytics невозможно восстановить.

Учебное пособие MS - « Реализация решения потоковой передачи данных с помощью Azure Streaming Analytics » - « Преобразование данных с помощью используя Azure Stream Analytics", этот модуль предоставляет базовый c пример того, как создать задание Azure Stream Analytics, настроить ввод, написать запрос преобразования и настроить вывод. Вы использовали Azure Storage в качестве источника и назначения, и вы создали запрос преобразования для получения некоторых базовых c результатов. Вы также узнали, как запустить задание Stream Analytics и просмотреть результаты задания.

В разделе сводки они предоставили способ очистки ресурсов в группе ресурсов.

Очистить

Чтобы избежать ненужных расходов, вы захотите удалить все ресурсы, которые вы создали для этого модуля. Сюда входят две учетные записи хранения и задание Stream Analytics. Вы можете удалить эти учетные записи по отдельности, но проще удалить группу ресурсов m slearn-streamanalytics:

1. Используйте поле поиска, чтобы найти группу ресурсов.

2. Выберите группу, а затем выберите Удалить группу ресурсов .

What is Azure Stream Analytics?

Azure Stream Analytics is a real-time analytics and complex event-processing engine that is designed to analyze and process high volumes of fast streaming data from multiple sources simultaneously. Patterns and relationships can be identified in information extracted from a number of input sources including devices, sensors, clickstreams, social media feeds, and applications. These patterns can be used to trigger actions and initiate workflows such as creating alerts, feeding information to a reporting tool, or storing transformed data for later use. Also, Stream Analytics is available on Azure IoT Edge runtime, enabling to process data on IoT devices.

The following scenarios are examples of when you can use Azure Stream Analytics:

• Analyze real-time telemetry streams from IoT devices
• Web logs/clickstream analytics
• Geospatial analytics for fleet management and driverless vehicles
• Remote monitoring and predictive maintenance of high value assets
• Real-time analytics on Point of Sale data for inventory control and anomaly detection

Reference: Azure Обзор Stream Analytics