Источник CosmosDB, возвращающий DF-SYS-01 - PullRequest
Новая
       97

Источник CosmosDB, возвращающий DF-SYS-01

0 голосов
/ 30 мая 2020

Я построил несколько конвейеров и успешно импортировал данные из большинства моих таблиц CosmosDB, но эта постоянно выдает мне ошибку, которую я не понимаю. Я думаю, что это может быть вызвано структурой таблицы, но был бы очень признателен за второе мнение и возможные решения.

Элемент таблицы: 

{
"id": "someGuid",
"name": "someString",    
"pins": [
    {
        "type": "someString",
        "latitude": 47.03923,
        "longitude": -122.89136,
        "name": "someString"
    },
    {
        "type": "someString",
        "latitude": 28.53823,
        "longitude": -81.37739,
        "name": "someString"
    }
],
"_rid": "vj04AOrfr2s8CT0AAAAAAA==",
"_self": "dbs/vj04AA==/colls/vj04AOrfr2s=/docs/vj04AOrfr2s8CT0AAAAAAA==/",
"_etag": "\"ac00ddc8-0000-0700-0000-5e7428230000\"",
"_attachments": "attachments/",
"_ts": 1584670755
}

Столбцы определены правильно на вкладке Source.Projection, где находятся контакты [] строка, но исходник не может быть загружен ((

"{"message":"at : (StructType(StructField(area,StringType,true), StructField(date,StringType,true), StructField(resultType,StringType,true), StructField(results,ArrayType(StringType,true),true), StructField(test,StringType,true)),StringType) (of class scala.Tuple2). Details:at : (StructType(StructField(area,StringType,true), StructField(date,StringType,true), StructField(resultType,StringType,true), StructField(results,ArrayType(StringType,true),true), StructField(test,StringType,true)),StringType) (of class scala.Tuple2)","failureType":"UserError","target":"Pins","errorCode":"DFExecutorUserError"}"

1 Ответ

0 голосов
/ 02 июня 2020

Смог решить эту проблему: 1. перезапустив сеанс ADF. 2. сбросив схему для источника данных - он автоматически выбрал правильную схему. Надеюсь, этот ответ поможет кому-нибудь в этой функции.

...