Потоковая передача данных со старыми датами в разделенную таблицу bigquery - PullRequest
0 голосов
/ 14 февраля 2020

Я пытаюсь передать данные в разделенную таблицу bigquery с клиентской библиотекой nodejs:

async function streamData(rows) {
    try {
        await bigqueryClient
            .dataset(datasetId)
            .table(tableId)
            .insert(rows)

    } catch (err) {
        console.error(err);
    }
}

Данные, которые я пытаюсь передать, имеют старый столбец даты, поэтому я получаю эту ошибку:

Значение 1517143394540000 для поля dateFieldName таблицы назначения destinationTableId находится за пределами допустимых границ. Вы можете передавать только диапазон дат в течение 365 дней в прошлом и 183 дней в будущем относительно текущей даты.

Можно ли как-нибудь обойти это? Как и при использовании функции потоковой передачи данных на лету и секционированной таблицы?

Моя конечная цель - перенести данные из старой базы данных, поэтому функция streamData(), расположенная внутри al oop и rows, получает кусок 1000 строк в каждой итерации.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...