вставка многострочного текста в Google Big Query

Question

У меня есть файл .txt, который мне дали. Файл имеет два столбца:

ID         | DESCRIPTION
========================
STRING     | MULTI_LINE STRING

, поэтому у меня проблема в том, что этот большой текстовый файл содержит много строк при переходе от записи к записи.

Пример:

548f8c9d4b78987b76f86018|facebook|I am a complete description.  Please see what I like below:

-Cars
-Trains
-Computers

I also like Star Trek
w6nc1y0afl2jo3zo9z7jvpo|facebook|I am another description.  HI!

Как мне перевести мультилинию в GBQ? Спасибо.

Answer 1

Это загрузит файлы в BigQuery, но только если вы вручную добавите кавычки " к многострочным предложениям:

bq load --allow_quoted_newlines -F "|" dataset.table file.tsv "a,b,c"

Измененный файл выглядит следующим образом:

i|i|i
548f8c9d4b78987b76f86018|facebook|"I am a complete description.  Please see what I like below:

-Cars
-Trains
-Computers

I also like Star Trek"
w6nc1y0afl2jo3zo9z7jvpo|facebook|I am another description.  HI!

И BigQuery прочтет это хорошо:

Answer 2

Один из способов - сначала перевести этот файл в формат JSON.

Новая строка может быть закодирована как \n символ.

Затем загрузить JSON из GCS или загрузить из локального файла в таблицу.

Пример файла JSON:

{"id":"1","first_name":"John\nsecond line"}
{"id":"2","first_name":"Jane\nsecond line"}

Таблица результатов

+-------------+----+
| first_name  | id |
+-------------+----+
| John        |  1 |
| second line |    |
| Jane        |  2 |
| second line |    |
+-------------+----+