Как отфильтровать данные из общедоступного CSV-файла в Интернете с помощью Google Apps Script?

Question

Я перетаскиваю данные из общедоступного CSV-файла в таблицы Google.Количество данных действительно велико, и Gsheets не может обработать такое количество информации.Вот почему я хочу отфильтровать эти результаты, чтобы получить только те, которые custom_label2 = 7394141.

В настоящее время код выглядит следующим образом:

function importCSVFromWeb() {

  // Provide the full URL of the CSV file.
  var csvUrl = "https://storage.googleapis.com/bi_enjoei/export_google/feed_enjoei.csv";
  var csvContent = UrlFetchApp.fetch(csvUrl).getContentText();
  var csvData = Utilities.parseCsv(csvContent);

  var sheet = SpreadsheetApp.getActiveSheet();
  sheet.getRange(1, 1, csvData.length, csvData[0].length).setValues(csvData);

}

Заранее спасибо.

Answer 1

Прежде чем вы сможете отфильтровать данные, вам может потребоваться получить все это.

К сожалению, существует ограничение на количество данных, которые вы можете загрузить с помощью UrlFetch (максимум 100 МБ в день, ваш CSV составляет 447 МБ и более).

Просто невозможно обработать CSV такого размера с использованием чистого скрипта Apps.

Однако, если сервер, на котором находится CSV, поддерживает частичные запросы , вы можетечтобы получить только те данные, которые вам нужны.

Это будет сильно зависеть от структуры CSV;если CSV хранит фиксированное число байтов на строку данных и значение метки (custom_label2) всегда является последовательным, тогда этот подход является жизнеспособным, поскольку вы сможете рассчитать смещение байтов, необходимое для поиска правильной строки данных.

Но если данные редки, где каждая строка хранится так, что она занимает только столько места, сколько необходимо, то размеры строк могут изменяться, или если значение метки произвольно, тогда этот метод не будетработа.

---

Другая альтернатива - использовать Большой запрос .

Поскольку ваш CSV живет в облачном хранилище Google (и, если у вас есть этот контейнер облачного хранилища), вы можете указать на него как на внешний источник данных в Big Query .

После того, как вы настроите эту настройку, вы можете выполнить SQL-подобный запрос, используя Google Apps Script через услугу Big Query Advanced , чтобы получить строки, где custom_label2 = 7394141.

Затем вы можете приступить к добавлению этих данных строки в электронную таблицу.