Альтернатива использованию dryRun для различения запросов SQL Standard и Legacy в BigQuery? - PullRequest
Новая
       29

Альтернатива использованию dryRun для различения запросов SQL Standard и Legacy в BigQuery?

0 голосов
/ 05 марта 2019

Что

Кто-нибудь знает лучший способ определения / разграничения представления или запроса, написанных на устаревшем или стандартном SQL, с использованием API BigQuery?

Единственный метод, который пришел в голову, - запустить SQL со свойством dryRun, установленным на true (это приведет к минимальным накладным расходам на обработку), и, если произойдет сбой, с сообщением, содержащим фразу «Попробуйте использовать стандартный SQL "Я могу предположить, что это был устаревший SQL, иначе он работает и является стандартным. Э.Г. 

{
...
"code": 400,
"message": 
    "Invalid table name: `my-project.my_dataset.hello_world`
    [Try using standard SQL (https://cloud.google.com/bigquery/docs/reference/standard-sql/enabling-standard-sql)]."
}

Почему

Я поддерживаю слой интеграции (написанный в Cloud Functions - Node.js 8), который переносит данные с помощью API BigQuery.

К сожалению, сообществу пользователей разрешено писать представления и запросы либо в стандартном, либо в устаревшем SQL. Из-за многочисленных ограничений при работе с устаревшим SQL я хотел бы определить, какие запросы и представления пишутся с его использованием, что позволяет мне соответствующим образом изменить метод обработки.

1 Ответ

2 голосов
/ 05 марта 2019

Кто-нибудь знает лучший способ определения / разграничения представления или запроса, написанных на устаревшем или стандартном SQL, с использованием API BigQuery?

Вы можете попытаться использовать регулярное выражение javascript для определения типа SQL.

Вы можете использовать приведенный ниже фрагмент кода в качестве базовой линии 

isStandardSql(idString) {
  let isStandard, fullId, partialId, projectId = '';
  // This 'if' checks if the provided idString is of type standard and makes sure there is only one ':' in the expression (as in legacy syntax)
  const splitted = idString.split(/[:.]/g);
  if (splitted.length > 3) {
    const __ret = this.try2findProjectId(idString, projectId);
    idString = __ret.idString;
    projectId = __ret.projectId;
  }
  if ((idString.match(/:/g))) {
    // Regex that checks if the format of the id match legacy
    let matched = idString.match(/([\[]([^[]|[\[][\]])*[\]])/g);
    if (matched && matched[0]) {
    fullId = projectId + matched[0].substring(1, idString.length - 1);
    isStandard = false;
    } else {
    this.errorMessage("First Regex", idString);
    }
    // Same as the first only that here instead of ':' we are looking for '.' and we want to make sure there is more than 1 (as in standard syntax)
  } else if ((idString.match(/\./g) && idString.match(/\./g).length === 2)) {
    // Regex that checks if the format of the id match standard
    let matched = idString.match(/(`([^`]|``)*`)/g);// ? idString.match(/(`([^`]|``)*`)/g) : [idString];
    if (matched && matched[0]) {
    fullId = projectId + matched[0].substring(1, idString.length - 1);
    isStandard = true
    } else if(!matched && idString){
    fullId = projectId + idString;
    isStandard = true;
    }
    else {
    this.errorMessage("Second Regex", idString);
    }
  }
  else {//projectID.dataset
    // In case of id without projectId of proxy "use" project.dataset
    if(splitted.length === 2) {
      fullId = '';
      if (idString[0] === '[' && idString[idString.length - 1] === ']') {
        isStandard = false;
      }
      else if (idString[0] === '`' && idString[idString.length - 1] === '`') {
        isStandard = true;
      }
      partialId = idString.replace(/`|\[|\]/g, '')
    }
    else {
      this.errorMessage("Third Regex", idString);
    }
  }
  // Return values is flag the determine the type (standard or legacy) and id without staring/ ending chars (``, [])
  return {
    isStandard,
    fullId: fullId,
    partialId: partialId
  };
  }


try2findProjectId(idString, projectId)
    {
        let numOfInstances = 0
        for (let i = idString.length; i > 0; i--) {
            const char = idString[i - 1]
            if (char === ':' || char === '.') {
                numOfInstances++
                if (numOfInstances === 2) {
                    projectId = idString.substring(1, i - 1)
                    idString = idString.substring(i - 1, idString.length)
                    idString = idString[idString.length - 1] === '`' ? '`' + idString : idString
                    idString = idString[idString.length - 1] === ']' ? '[' + idString : idString
                }
            }
        }
        return {idString, projectId}
    }
...