Увеличьте максимальный размер файла для загрузки в Azure Data Explorer (ADX, Kusto) - PullRequest
Новая
       18

Увеличьте максимальный размер файла для загрузки в Azure Data Explorer (ADX, Kusto)

0 голосов
/ 17 апреля 2020

В настоящее время я загружаю несколько ТБ данных в базу данных Azure Кластер проводников данных (ADX, также известный как Kusto DB). В общей сложности я перебираю около 30 тыс. Файлов. Некоторые из них имеют размер несколько кбайт, а некоторые имеют размер, равный многим гигабайтам.

С некоторыми большими файлами я сталкиваюсь с ошибками из-за их размера: 

FailureMessage(
    {
        ...
        "Details":"Blob size in bytes: '4460639075' has exceeded the size limit allowed for ingestion ('4294967296' B)",
        "ErrorCode":"BadRequest_FileTooLarge",
        "FailureStatus":"Permanent",
        "OriginatesFromUpdatePolicy":false,
        "ShouldRetry":false
    })

Могу ли я что-нибудь сделать, чтобы увеличить допустимый размер приема?

1 Ответ

2 голосов
/ 17 апреля 2020

Существует не конфигурируемое ограничение в 4 ГБ.

Вы должны разделить свои исходные файлы (в идеале, чтобы каждый файл содержал от 100 МБ до 1 ГБ несжатых данных).

см .: https://docs.microsoft.com/en-us/azure/data-explorer/kusto/api/netfx/kusto-ingest-best-practices#optimizing для пропускной способности

...