Excel Get & Transform CSV: есть ли способ импортировать только новые данные из CSV в модель данных

Question

В настоящее время у меня есть запрос в Excel, который я использую для импорта данных из CSV-файла YearToDate, он преобразуется и загружается только как соединение. В настоящее время у меня есть две ячейки, которые указывают на последнюю запись, и еще одну, которая подсчитывает количество строк данных из моего запроса. Я включил эту информацию на листе. CSV обновляется один раз в день, и запрос обновляет данные в моей электронной таблице, где у меня есть различные сводные таблицы и показатели. Файл явно увеличивается с каждым днем. Я отфильтровываю большую часть данных, которые мне не нужны, однако запрос занимает много времени.

Итак, вопрос в том, можно ли настроить запрос, чтобы увидеть, какой была последняя запись, и обновить sh или применить запрос только к новым данным. Имеется в виду загрузка только из последней записи и не перезагрузка всего набора данных?

Может быть, это действительно так, и я этого не понимаю, но кажется, что это медленно. CSV находится в общей сетевой папке.

Кроме того, ему, возможно, потребуется загрузить весь CSV, прежде чем он сможет просмотреть данные, и в этом случае на мой вопрос получен ответ.

Спасибо за любая помощь?

Answer 1

вы можете создать новый, быстрый запрос, который просто получит последнюю строку, а затем переосмыслить sh большой только при необходимости. Новый может работать так:

let
    Source = Csv.Document(File.Contents("C:\test.csv"),[Delimiter=",", Columns=1, Encoding=65001, QuoteStyle=QuoteStyle.None]),
    #"Changed Type" = Table.TransformColumnTypes(Source,{{"Column1", type text}}),
    #"Kept Last Rows" = Table.LastN(#"Changed Type", 1)
in
    #"Kept Last Rows"

производительность всегда зависит от преобразований, которые вы делаете, так что этот должен быть намного быстрее, чем ваш полный запрос

РЕДАКТИРОВАТЬ Я неправильно понял ваш вопрос, вы в основном хотите дельта refre sh для PowerPivot, правильно? это не поддерживается, и модель полностью обновляет sh

Answer 2

Вы ответили на свой вопрос: весь CSV-файл необходимо импортировать, прежде чем применять фильтры.