как проверить тип данных в преобразовании толчка - PullRequest
Новая
       8

как проверить тип данных в преобразовании толчка

0 голосов
/ 28 августа 2018

Я новичок в преобразовании толчка. Мне было интересно, если есть способ сделать проверку типа данных, а затем продолжить.

Я обрабатываю json для вставки записи в hbase. Из источника я получаю метку времени, повторенную для того же идентификатора ресурса, который я хочу использовать для ключа строки. Поэтому я просто извлекаю первую временную метку и констатирую с идентификатором ресурса, чтобы создать ключ строки. Но у меня есть проблема, когда в записи есть только одна временная метка, т.е. когда ее нет в списке. Спасибо, если кто-то может помочь мне, как справиться с этой ситуацией.

входные данные 

 {  "resource": {
    "id": "200629068",
    "name": "resource_name_1)",
    "parent": {
      "id": 200053744,
      "name": "parent_name"
    },
    "properties": {
      "AP_ifSpeed": "0",
      "DisplaySpeed": "0 (NotApplicable)",
      "description": "description"
    }
  },
  "data": [
    {
      "metric": {
        "id": "2215",
        "name": "metric_name 1"
      },
      "timestamp": 1535064595000,
      "value": 0
    },
    {
      "metric": {
        "id": "2216",
        "name": "metric_name_2"
      },
      "timestamp": 1535064595000,
      "value": 1
    }
  ]
}

преобразование Джолта 

  [{
    "operation": "shift",
    "spec": {
      "resource": {
        // "id": "resource_&",
        "name": "resource_&",
        "id": "resource_&",
        "parent": {
          "id": "parent_&",
          "name": "parent_&"
        },
        "properties": {
          "*": "&"
        }
      },
      "data": {
        "*": {
          "metric": {
            "id": {
              "*": {
                "@(3,value)": "&1"
              }
            },
            "name": {
              "*": {
                "@(3,value)": "&1"
              }
            }
          },
          "timestamp": "timestamp"
        }
      }
    }
  }, {
    "operation": "shift",
    "spec": {
      "timestamp": {
        // get first element from list
        "0": "&1"
      },
      "*": "&"
    }
    },
  {
    "operation": "modify-default-beta",
    "spec": {
      "rowkey": "=concat(@(1,resource_id),'_',@(1,timestamp))"
    }
    }
]

Вывод получаю 

    { "resource_name" : "resource_name_1)",
  "resource_id" : "200629068",
  "parent_id" : 200053744,
  "parent_name" : "parent_name",
  "AP_ifSpeed" : "0",
  "DisplaySpeed" : "0 (NotApplicable)",
  "description" : "description",
  "2215" : 0,
  "metric_name 1" : 0,
  "timestamp" : 1535064595000,
  "2216" : 1,
  "metric_name_2" : 1,
  "rowkey" : "200629068_1535064595000"
}

когда есть только одна временная метка, тогда я получаю "rowkey": "200629068 _"

1 Ответ

0 голосов
/ 31 августа 2018

В вашей смене сделайте, чтобы «timestamp» всегда был массивом, даже если входящий массив данных содержит только один элемент. 

 "timestamp": "timestamp[]"
...