Оптимизировать команду, не помогающую при записи таблицы озера Дельта с помощью структурированной потоковой передачи - PullRequest
0 голосов
/ 20 февраля 2020

У меня есть структурированное потоковое задание, которое читает из концентратора событий и записывает в таблицу дельты озера как / mytablepath, которая хранится в Azure хранилище больших двоичных объектов. За последние 2 месяца работы в Production было создано ~ 1000 небольших файлов в хранилище, в каждом из которых по 2-3 строки.

Я пытался выполнить команду оптимизации на моей таблице дельта-озера (путь), но даже после это количество файлов в хранилище BLOB-объектов не уменьшилось, и когда я запускаю любой запрос к таблице в записной книжке, он продолжает отображать предупреждение «запрос находится в дельта-таблице со многими небольшими файлами, выполните оптимизацию для повышения производительности».

Спасибо

1 Ответ

0 голосов
/ 21 февраля 2020

Вам нужно запустить вакуум после запуска оптимизации, чтобы очистить небольшие файлы.

...