Я пытаюсь загрузить данные из mysql в azure синапс, используя polybase. Эти данные содержат json данные в некоторых столбцах. Я прочитал данные из mysql с использованием блоков данных и преобразовал их в формат паркета. Я сохранил данные в azure озере данных, смонтировав каталоги. Когда я преобразую данные в формат паркета, данные в json столбец усекается и кодируется (может быть Base64). Я создал внешнюю таблицу для указания на данные в озере данных.
Пример данных в столбце json: [ {\ "uom \": \ "EA \", \ "time \": \ "2020-01-29T09: 02: 00.000 + 0000 \", \ "lotId \": \ "9318215 \", \ "batchId \ ": \" 563159-9318215 \ ", \" количество \ ": 5, \" requireUOM \ ": \" EA \ ", \" subLocation \ ": \" W3 \ ", \" operationType \ ": \ "upsert \", \ "sourceErpSystem \": \ "LOTS \", \ "bdHDLDateTimeStamp \": \ "2020-01-29T05: 33: 57.000 + 0000 \", \ "bdSourceDateTimeStamp \": \ "2020-01 -28T08: 00: 00,000 + 0000 \ "}],
1006 *
закодированные данные, в формате паркетным: eyJvbkhhbmQiOiBbeyJ1b20iOiAiRUEiLCAidGltZSI6ICIyMDIwLTAxLTI4VDA5OjAzOjAwLjAwMCswMDAwIiwgImxvdElkIjogIk1ZRFgwMTc4IiwgImJhdGNoSWQiOiAiNzczMDAxNEwtTVlEWDAxNzgiLCAic XVhbnRpdHk = (усечено)
Я сталкиваюсь со следующей ошибкой при выборе данных из внешней таблицы для загрузки их в Synapse.
Сообщение 107090, уровень 16, состояние 1, строка 61 Hdfs Bridge :: recordReader FillBuffer - Обнаружена непредвиденная ошибка при заполнении буфера чтения записи: HadoopSqlException: Arithmeti c Ошибка переполнения при преобразовании выражения в тип данных NVARCHAR.