Сохранение существующих данных в модели данных и просто расширение их новыми данными

Question

Что я делаю:
Я построил процессы ETL с запросом питания для загрузки данных (истории остановок рабочей машины) из нескольких файлов Excel непосредственно в PowerBI. В каждую новую смену (каждые 8 ​​часов) создается новый файл Excel, генерируемый рабочей машиной, который также необходимо загрузить в модель данных.

Как я это сделал:
Для этого силовой запрос обрабатывает все файлы, найденные в определенной папке.

Проблема:
Во время обновления запроса необходимо обрабатывать все файлы данных снова и снова (старые файлы + новые файлы).
Если я удаляю старые файлы изпапка power query удаляет данные также из модели данных во время следующего цикла обновления.

Что мне нужно / Мой вопрос:
Пакетный процесс копирует новые файлы в папкупри удалении всех старых файлов.
Есть ли возможность настроить мощный запрос таким образом, чтобы он сохранял существующие данные внутри модели данных и просто расширял их данными из новых файлов?

Чего я хотел бы избежать:
Я знаю, что создание базы данных было бы одним из решений, но для этого требуется вторая система с новым процессом ETL. Но мощный запрос уже отлично справляется с предварительной обработкой данных! Поэтому и, если возможно, было бы очень полезно, если бы эту проблему можно было решить непосредственно внутри запроса мощности / мощности bi.

Answer 1

Если вы хотите стрелять воробьями из пушечного оружия, вы можете попробовать инкрементное обновление , но это функция Premium.

При обновлении Power BI набор данных перезагружает его, поэтому сначалаочищено, а во-вторых - вам понадобятся все файлы, чтобы их заново загрузить и все пересчитать. Если вы этого не хотите, вам нужно либо изменить ETL, чтобы хранить данные за пределами набора данных отчета (например, база данных была бы очень хорошим выбором), либо выдвинуть данные из новогофайлы только в набор данных (что я бы не рекомендовал в вашем случае).

Подводя итог - лучшее решение - это построить процесс ETL и поместить данные в хранилище данных, а затем использовать его в качестве источника данныхдля ваших отчетов.