Извлечение поля JSON из строки в Hive с использованием набора данных - PullRequest
Новая
       39

Извлечение поля JSON из строки в Hive с использованием набора данных

1 голос
/ 30 мая 2019

Я пытаюсь выполнить очень простой запрос улья. Я пытаюсь извлечь поле JSON из набора данных, но всегда получаю

\ N

для поля json, однако с some_string все в порядке

Вот мой запрос: 

WITH dataset AS (
SELECT
CAST(
   '{ "traceId": "abc", "additionalData": "{\"Star Rating\":\"3\"}",  "locale": "en_US", "content": { "contentType": "PB", "content": "T S", "bP": { "mD": { "S R": "3" }, "cType": "T_S", "sType": "unknown-s", "bTimestamp": 0, "title": "T S" } }
    }' AS STRING) AS some_string
)
SELECT some_string, get_json_object(dataset.some_string, '$.traceId') FROM dataset

Вопрос: Как я могу получить здесь поле json?

1 Ответ

1 голос
/ 31 мая 2019

Проблема в обратной косой черте.Одиночные обратные слэши обрабатываются как escape-символы для "и удаляются Hive: 

hive> select '\"';
OK
"
Time taken: 0.069 seconds, Fetched: 1 row(s)

Если у вас есть две обратные косые черты, Hive удаляет одну: 

hive> select '\\"';
OK
\"
Time taken: 0.061 seconds, Fetched: 1 row(s)

С двумя обратными косыми чертами она отлично работает: 

WITH dataset AS (
  SELECT
  CAST(
     '{ "traceId": "abc", "additionalData": "{\\"Star Rating\\":\\"3\\"}",  "locale": "en_US", "content": { "contentType": "PB", "content": "T S", "bP": { "mD": { "S R": "3" }, "cType": "T_S", "sType": "unknown-s", "bTimestamp": 0, "title": "T S" } }
       }' AS STRING) AS some_string
   )
   SELECT some_string,  get_json_object(dataset.some_string, '$.traceId') FROM dataset;
OK
{ "traceId": "abc", "additionalData": "{\"Star Rating\":\"3\"}",  "locale": "en_US", "content": { "contentType": "PB", "content": "T S", "bP": { "mD": { "S R": "3" }, "cType": "T_S", "sType": "unknown-s", "bTimestamp": 0, "title": "T S" } }
    }   abc
Time taken: 0.788 seconds, Fetched: 1 row(s)

Вы также можете легко удалить двойные кавычки до и после в дополнительных данных: 

WITH dataset AS (
SELECT
regexp_replace(regexp_replace(
   '{ "traceId": "abc", "additionalData": "{\"Star Rating\":\"3\"}",  "locale": "en_US", "content": { "contentType": "PB", "content": "T S", "bP": { "mD": { "S R": "3" }, "cType": "T_S", "sType": "unknown-s", "bTimestamp": 0, "title": "T S" } }
    }' ,'\\"\\{','\\{') ,'\\}\\"','\\}' )AS some_string
)
SELECT some_string,  get_json_object(dataset.some_string, '$.traceId') FROM dataset;

Возвращает: 

OK
{ "traceId": "abc", "additionalData": {"Star Rating":"3"},  "locale": "en_US", "content": { "contentType": "PB", "content": "T S", "bP": { "mD": { "S R": "3" }, "cType": "T_S", "sType": "unknown-s", "bTimestamp": 0, "title": "T S" } }
    }   abc
Time taken: 7.035 seconds, Fetched: 1 row(s)
...