Bigrquery принудительно приводит строки к целым числам (схема представляет собой строку) - PullRequest
Новая
       55

Bigrquery принудительно приводит строки к целым числам (схема представляет собой строку)

0 голосов
/ 23 ноября 2018

Я работаю с почтовыми индексами, которые, конечно, имеют ведущие нули.Я правильно загружаю свой фрейм данных, чтобы сохранить лидирующие нули в R, но шаг загрузки кажется неудачным.Вот что я имею в виду:

Вот мой файл minimal.csv: 

zip,val
07030,10
10001,100
90210,1000
60602,10000

Вот код R 

require("bigrquery")
filename <- "minimal.csv"
tablename <- "as_STRING"
ds <- bq_dataset(project='myproject', dataset="zips")

Я также правильно устанавливаю тип в своей схемеожидать их в виде строк. 

# first pass
df <- read.csv(filename, stringsAsFactors=F)
# > df
#     zip   val
# 1  7030    10
# 2 10001   100
# 3 90210  1000
# 4 60602 10000

# uh oh!  Let's fix it!

cols <- unlist(lapply(df, class))
cols[[1]] <- "character" # make zipcode a character

# then reload
df2 <- read.csv(filename, stringsAsFactors=F, colClasses=cols)
# > df2
#     zip   val
# 1 07030    10
# 2 10001   100
# 3 90210  1000
# 4 60602 10000

# much better!  You can see my zips are now strings.

Однако, когда я пытаюсь загрузить строки, интерфейс bigrquery жалуется, что я загружаю целые числа, а они нет.Вот схема с ожидаемыми строками: 

# create schema
bq_table_create(bq_table(ds, tablename), fields=df2) # using df2, which has strings

# now prove it got the strings right:
    > bq_table_meta(bq_table(ds, tablename))$schema$fields
    [[1]]
    [[1]]$name
    [1] "zip"

    [[1]]$type
    [1] "STRING"                # GOOD, ZIP IS A STRING!

    [[1]]$mode
    [1] "NULLABLE"


    [[2]]
    [[2]]$name
    [1] "val"

    [[2]]$type
    [1] "INTEGER"

    [[2]]$mode
    [1] "NULLABLE"

Теперь пришло время загрузить .... 

bq_table_upload(bq_table(ds, tablename), df2) # using df2, with STRINGS
Error: Invalid schema update. Field zip has changed type from STRING to INTEGER [invalid]

А?Что это за недопустимое обновление схемы, и как я могу остановить его от попыток изменить мои строки, которые содержат данные, и схему, на целые числа, которые не содержат мои данные, а какие нет?

Есть ли сериализация javascript, которая происходит и превращает мои строки обратно в целые числа?

Ответы [ 2 ]

0 голосов
/ 26 ноября 2018

Просто меняется: 

bq_table_upload(tab, df)

на 

bq_table_upload(tab, df, fields=df)

работает.

0 голосов
/ 23 ноября 2018

Это потому, что BigQuery автоматически обнаружит схему, если она не указана.Это можно решить, указав fields аргумент, например, так (см. этот похожий вопрос для более подробной информации): 

bq_table_upload(bq_table(ds, tablename), df2,fields = list(bq_field("zip", "string"),bq_field("val", "integer")))

ОБНОВЛЕНИЕ:

Рассматривая код, bq_table_upload вызывает bq_perform_upload, который принимает аргумент fields в качестве схемы.В конце он анализирует файл data frame как JSON, чтобы загрузить его в BigQuery.

...