Загрузка строки XML в виде столбца из базы данных сервера sql в bigquery возвращает ошибку ## 400 Превышение ресурсов во время выполнения запроса

Question

Я пытаюсь загрузить файл XML из операционной базы данных (SQL Server) в виде строки в BigQuery. Я получаю следующую ошибку:

400 Превышено ресурсов во время выполнения запроса: UDF не хватает памяти .; Не удалось прочитать файл Parquet / bigstore / bigquery-prod-upload-europe-north1 / prod-scotty-9ab0ddc4-9166-4a2e-a6fd-fa5adb7948dd. Это может произойти, если файл содержит слишком большую строку или если общий размер страниц, загруженных для запрашиваемых столбцов, слишком велик

Как я должен обрабатывать XML столбцы во время загрузки в BigQuery? Заранее спасибо

Answer 1

Как видно из документации , BigQuery имеет ограничение размера 100 МБ для размера строки при использовании файлов CSV и JSON. На самом деле, вы можете использовать даже ячейку размером до 100 МБ при использовании CSV. Кроме того, во вложенных полях структура не может иметь более 15 уровней, как вы можете видеть здесь

Если у вас есть сложные XML структуры в ваших полях, которые могут быть проблемой. Можете ли вы попытаться измерить размер строки?