Как прочитать большой файл JSON в качестве входных данных для Azure Stream Analytics - PullRequest
1 голос
/ 08 мая 2019

Я предоставляю файл JSON размером 5 МБ в качестве входных данных для Azure Stream Analytics и получаю сообщение об ошибке ниже.

"выбранный файл 'имя файла' должен содержать от 1 до 2097152 байтов"

Количество выбранных потоковых единиц равно 3. Как заставить Stream Analytics читать большой файл Json в качестве входных данных?

Ответы [ 2 ]

1 голос
/ 08 мая 2019

Я думаю, что это ограничение для теста задания ASA, вы можете загрузить файл json в редакторе запросов ниже 2M.

enter image description here

На основании заявлений в официальном документе.

Для сценариев с большим количеством неструктурированных данных для хранения в Облачное хранилище Azure Blob предлагает экономичное и масштабируемое хранилище. решение. Данные в хранилище BLOB-объектов обычно считаются данными в состоянии покоя; однако данные BLOB-объектов могут обрабатываться Stream как поток данных. Аналитика.

Я предлагаю вам сохранить JSON-файл большого размера в хранилище больших двоичных объектов, и он будет обрабатываться как поток данных.

0 голосов
/ 14 мая 2019

Хранение файла json большого размера в хранилище BLOB-объектов и подача его в качестве входных данных для потоковой аналитики.Спасибо @ Джей Гонг

...