Загрузка больших CSV-файлов и размещение в Google Sheet - PullRequest
Новая
       5

Загрузка больших CSV-файлов и размещение в Google Sheet

0 голосов
/ 09 января 2019

Это небольшой проект по автоматизации. Я регулярно получаю вложения электронной почты с отчетами в формате CSV и конвертирую их непосредственно в Google Sheet, используя Google App Script. но есть отчет, который слишком велик и не вписывается в предельный размер BLOB-объекта (50 МБ), будут ошибки выполнения.

Следовательно, загрузить его и сохранить на Google Диске не вариант.

Я пытался сохранить contentText и использовать эту функцию CSVToArray, которую нашел в Интернете 

function CSVToArray( strData, strDelimiter ) {
  // Check to see if the delimiter is defined. If not,
  // then default to COMMA.
  strDelimiter = (strDelimiter || ",");
  // Create a regular expression to parse the CSV values.
  var objPattern = new RegExp(
    (
      // Delimiters.
      "(\\" + strDelimiter + "|\\r?\\n|\\r|^)" +

      // Quoted fields.
      "(?:\"([^\"]*(?:\"\"[^\"]*)*)\"|" +

      // Standard fields.
      "([^\"\\" + strDelimiter + "\\r\\n]*))"
    ),
    "gi"
  );

  // Create an array to hold our data. Give the array
  // a default empty first row.
  var arrData = [[]];

  // Create an array to hold our individual pattern
  // matching groups.
  var arrMatches = null;

  // Keep looping over the regular expression matches
  // until we can no longer find a match.
  while (arrMatches = objPattern.exec( strData )){
    // Get the delimiter that was found.
    var strMatchedDelimiter = arrMatches[ 1 ];
    // Check to see if the given delimiter has a length
    // (is not the start of string) and if it matches
    // field delimiter. If id does not, then we know
    // that this delimiter is a row delimiter.
    if (
      strMatchedDelimiter.length &&
      (strMatchedDelimiter != strDelimiter)
    ){

      // Since we have reached a new row of data,
      // add an empty row to our data array.
      arrData.push( [] );

    }
    // Now that we have our delimiter out of the way,
    // let's check to see which kind of value we
    // captured (quoted or unquoted).
    if (arrMatches[ 2 ]){
      // We found a quoted value. When we capture
      // this value, unescape any double quotes.
      var strMatchedValue = arrMatches[ 2 ].replace(
        new RegExp( "\"\"", "g" ),
        "\""
      );
    } else {
      // We found a non-quoted value.
      var strMatchedValue = arrMatches[ 3 ];
    }
    // Now that we have our value string, let's add
    // it to the data array.
    arrData[ arrData.length - 1 ].push( strMatchedValue );
  }
  // Return the parsed data.
  Logger.log(arrData);
  return( arrData );
};

function GetCSVFromLink(link){

  var urlData = UrlFetchApp.fetch(link);
  var stringData = urlData.getContentText(); 
  //
  //All the folder creation etc is here
  //
    var CSVArray = CSVToArray(stringData);   
    var newsheet = ss.insertSheet("NewReport");
    for ( var i =0, lenCsv=CSVArray.length; i<lenCsv;i++)
    {
     newsheet.getRange(i+1,1,1,CSVArray[i].length).setValues(new Array(CSVArray[i]));

    }

В итоге я получил досрочное максимальное время выполнения. Этот конкретный отчет имеет 30 тысяч строк, поэтому даже длительное время выполнения 30 минут не может закончить это. Тем не менее, это работает для других небольших CSV-файлов (но не хотелось бы делать это, когда я могу напрямую конвертировать в Google лист через Drive API)

Я также узнал, что было бы НАМНОГО меньше, если бы я конвертировал его из CSV в xlsm, и конвертировать туда было бы намного проще. Но дело в том, что я не могу заставить файл CSV автоматически загружаться на мой диск, и я не знаю, как конвертировать CSV в xlsm, используя скрипт приложения.

Есть ли другие способы обойти это? Или вы, ребята, думаете, что это может сработать?

1 Ответ

0 голосов
/ 09 января 2019

Возможно, вы сможете использовать возобновляемую загрузку через Drive API. См. Решение Tanaike :

Возобновляемая загрузка для веб-приложений с использованием скрипта Google Apps

...