Назначение файла схемы Json при загрузке данных в запрос Big из файла CSV

Question

Может кто-нибудь помочь мне, указав цель предоставления файла схемы json при загрузке файла в BQtable с помощью команды bq. Каковы преимущества?

Считаете ли вы, что этот файл помогает сохранить целостность данных, избегая подкачки столбцов?

С уважением, Срикант

Answer 1

Указание схемы JSON - вместо того, чтобы полагаться на автоопределение - означает, что вы гарантированно получите ожидаемые типы для каждого загружаемого столбца. Если у вас есть данные, которые выглядят так, например:

1,'foo',true
2,'bar',false
3,'baz',true

Автоматическое обнаружение схемы будет означать, что тип первого столбца - INTEGER (a.k.a. INT64). Возможно, вы планируете загружать больше данных в будущем, хотя это выглядит так:

3.14,'foo',true
1.59,'bar',false
-2.001,'baz',true

В этом случае вы, вероятно, захотите, чтобы первый столбец имел тип FLOAT (a.k.a. FLOAT64). Если вы предоставляете схему при загрузке первого файла, вы можете явно указать тип FLOAT для этого столбца.