Анализировать JSON как значение ключа в задании потока данных

Question

Как проанализировать JSON данные в apache beam и сохранить в bigquery таблице?Например: данные JSON

[{ "name":"stack"},{"id":"100"}].

Как проанализировать данные JSON и преобразовать их в PCollection K, V, которые будут храниться в таблице BQ?Ценю вашу помощь !!

Answer 1

Обычно вы используете встроенный синтаксический анализатор JSON на языке программирования (используете ли вы луч или python).Затем создайте объект TableRow и используйте его для PCollection, который вы передаете в таблицу BQ.

Примечание. Некоторые парсеры JSON запрещают JSON, который начинается с корневого списка, как вы показали в своем примере.Они предпочитают что-то подобное с корневой картой.Я полагаю, что это так в библиотеке json Python.

{"name": "stack", "id": "100"}

Пожалуйста, посмотрите это пример конвейера , например, о том, как создать PCollection и использовать BigqueryIO.

Вы также можете рассмотреть возможность использования одного из шаблонов конвейеров BigQuery от X до .